101/RAG/text_processing.py

def remove_unwanted_content(answer):
    ## 可以試試用prompt排除
    unwanted_phrases = [
        "<<SYS>> 你是一個來自台灣的AI助理，名字叫TAIDE，樂於用繁體中文幫助使用者，會根據問題提供相關答案。> <</SYS>>",
        "TAIDE 敬上",
        "你是一個來自台灣的AI助理，我的名字是 TAIDE，我很高興用繁體中文幫助您！請告訴我如何才能為您服務呢？",
        "此處無需提供文件或上下文，因為已經在先前的回應中提及過。若真有需要，可再次詢問相關內容。",
        "If you have any further questions or need additional assistance, please do not hesitate to contact us. Thank you!",
        "我在這裡可以告訴你",
        "根據提供的資訊，",
        "根據您的問題，",
        "請注意，以上資訊僅供參考。",
        "如果您還有其他問題，請隨時問我。",
        "希望這個資訊對您有幫助。",
        "很高興能為您解答這個問題。",
        "這些信息是根據我所知道的最新資料提供的。",
        "如果您需要更詳細的資訊，建議您查看官方網站或直接聯繫相關單位。",
        "我很抱歉，作為AI助理，我無法知道您所提及的特定文件或上下文。",
        "若無法自行判斷，請將問題寄送至test@email.com，我們將很樂意進一步協助您。",
        "若您還有其他疑問，歡迎將問題寄至test@email.com以便獲得進一步協助。"
        "[/INST]",
        "[/ANS]"
    ]
    
    for phrase in unwanted_phrases:
        answer = answer.replace(phrase, "")
    
    answer = answer.strip()
    answer = '\n'.join(line for line in answer.splitlines() if line.strip())
    
    return answer