随着人工智能和机器学习领域的飞速发展，大型语言模型（LLM）现在能够生成多样化主题的内容，解决复杂问题，并显著提高用户满意度。然而，随着它们的进步，一个新的挑战出现了：幻觉。当LLM生成错误、无意义或不连贯的文本时，就会发生这种现象。这些情况可能给使用这些模型的组织带来潜在的风险和挑战，尤其是在涉及传播错误信息或创建攻击性材料的情况下。
截至2024年1月，公开可用模型的幻觉率大约在3%到16%之间。本文将详细说明各种有效减轻这一风险的策略。
通过微调Gemini等模型，解锁自然语言处理、图像生成等领域的无限可能。立即深入了解！
提示工程是设计和完善输入到大型语言模型的指令以获得最佳结果的过程。需要专业知识和创造力的结合来制作最佳的提示，以从LLM中引出特定的响应或行为。设计包含明确指令、上下文线索或特定框架技术的提示有助于指导LLM生成过程。通过提供清晰的指导和上下文，GPT提示工程减少了歧义，并帮助模型生成更可靠和连贯的响应。
以下是构成精心制作的提示的要素列表：
观察发现，使用积极的指令而不是消极的指令会获得更好的结果（即“做”而不是“不做”）。消极框架的例子：不要一次向用户提出超过1个问题。积极框架的例子：当向用户询问信息时，一次最多提出1个问题。
检索增强生成（RAG）是赋予LLM模型特定领域和最新知识以提高模型响应的准确性和可审核性的过程。这是一种强大的技术，它结合了提示工程和从外部数据源检索上下文，以提高LLM的性能和相关性。通过在额外信息的基础上建立模型，它允许更准确和上下文感知的响应。
不同的模型参数，如温度、频率惩罚和top-p，显著影响LLM创建的输出。较高的温度设置鼓励更多的随机性和创造力，而较低的设置使输出更可预测。提高频率惩罚值会促使模型更少地使用重复的单词。同样，增加存在惩罚值会增加生成在输出中尚未使用过的单词的可能性。
top-p参数通过设置单词选择的累积概率阈值来调节响应的多样性。
总的来说，这些参数允许微调和在生成多样化响应和保持准确性之间取得平衡。因此，调整这些参数减少了模型想象答案的可能性。
微调预训练的LLM：微调是用更小的、特定任务的标记数据集训练预训练模型的过程。通过在特定任务的数据集上进行微调，LLM可以掌握该领域的细微差别。这在有专业术语、概念或结构的领域尤为重要，如法律文件、医疗文本或财务报告。因此，当面临来自特定领域或任务的未见过的例子时，模型更有可能做出预测或生成更准确和相关的输出。
结合主题专家的人工监督和健全的审查流程来验证语言模型生成的输出，特别是在幻觉可能产生重大后果的敏感或高风险应用中，可以大大帮助处理错误信息。人工审查员可以在传播或在关键环境中使用之前识别和纠正幻觉文本。
教育用户和利益相关者了解语言模型的局限性和风险，包括它们生成误导性文本的潜力，是至关重要的。应该鼓励用户仔细评估和验证输出，特别是在准确性至关重要时。制定和遵循管理语言模型使用的道德准则和政策很重要，特别是在可能造成伤害的错误信息领域。必须建立明确的指导方针，用于负责任的AI使用，包括内容审核、错误信息检测和防止攻击性内容。
尽管有各种实证努力来减轻大型语言模型（LLM）中的幻觉问题，但其普遍性仍然是一个重大挑战。虽然这些策略提供了宝贵的见解，但完全消除的根本问题仍未得到解答。
希望本文能够阐明LLM中的幻觉问题，并提供解决策略。请在下面的评论部分告诉想法。
立即深入了解GenAI Pinnacle的AI未来。从训练定制模型到应对PII掩码等现实世界挑战，用尖端能力赋予项目权力。
[1] https://huggingface.co/spaces/vectara/leaderboard