为什么神经网络自信地犯错——以及如何在5分钟内验证AI的答案
作者分享了关于神经网络如何给出错误答案的观察，并提出了快速验证其可信性的方法。讨论了在某些情况下需要特别谨慎的情况……
Краткий пересказ от QRazy ИИ
- 理解人工智能的幻觉概念——以准确事实的形式呈现的错误回答。
- 识别需要验证的关键事实和依赖关系，以避免误解。
- 了解在法律和医学等领域，特别需要验证神经网络提供的信息。
您向神经网络询问办理服务所需的文件，并得到一个自信的回答：五个要点和解释。后来发现有一个文件属于另一程序，第二个不再需要，而要求提供第三个的有关要求从未存在过。
神经网络并不是试图欺骗用户。它生成的文本看似可信，但可能与现实不符。
什么是人工智能的幻觉
幻觉是指错误或虚构的回答，以可信的形式呈现。神经网络可能会混淆日期，给某人附上不存在的引述，编造研究或将来自不同来源的信息结合成一个连贯但不正确的版本。
语言模型预测哪些词应当相互连接。它在大量文本中找到规律，并基于这些规律生成回答。但文本的连贯性并不保证其准确性。
模型没有人类的“我确定知道这个”或“数据不够”的感觉。针对自信表达的问题，常常可以得到同样自信的回答，即便其中部分信息是虚构的。
错误的风险特别高，当涉及狭窄主题、新数据、地方规则、特定文件或上下文不完整的情境。因此，回答的说服力并不是放弃验证的理由。
如何在五分钟内验证人工智能的回答
对于大多数日常和工作问题，只需几个步骤。
выделите главное утверждение
不需要立即验证每个句子。找出依赖于整个结论的事实。
例如：“申请时必须提供文件X。”应从这个要求开始。如果它不正确，相关解释就没有意义。
отделите факты от выводов
日期、规则、机构名称和技术参数是可验证的事实。“因此，您很可能不会被拒绝”就是一个结论。
需单独验证它们。原始事实可能是错误的，而结论即使在正确数据情况下也可能过于绝对。
запросите источник и степень уверенности
可以询问神经网络：“你的回答基于什么数据？哪些陈述你无法确认？”
这并不证明信息的可靠性，但有助于找到弱点。如果模型提供链接、文件或研究的名称，请检查是否存在这样的来源，以及它是否确实包含所声明的信息。仅仅提供链接并不能确认任何事情。
сверните ключевой факт с независимым источником
对政府和商业服务的要求最好在机构、组织和服务的官方网站上验证。医疗信息需根据相关机构的建议和咨询专家。技术指令请参考制造商的文档。
来源不应由同一神经网络创建，或仅仅重复其回答而不进行独立验证。
определите границы ответа
请神经网络列举推荐可能不正确的情况。这可能包括其他国家、年龄、诊断、合同类型、程序版本或文件有效期限。
许多错误恰恰是由于模型未察觉地推测缺失的上下文，导致的。
准备好的验证提示
请批判性地检查以下答案。1. 确定所有可验证的事实。2. 将事实与假设和结论分开。3. 指出哪些陈述可能是错误的或依赖于上下文。4. 不要虚构来源。如果您无法确认事实，就写出来。5. 制定一个简短的列表，以便在独立的、如果可能的话，官方来源进行验证。回答：[插入文本]假设神经网络声称，退货“总是只需口头请求，退货期限恰好为30天”。这个表述听起来很有说服力，但未指定司法管辖区，未明确商品类型，且期限没有附加条件。
这是一个假设示例，而不是描述现行规则。它显示出，自信的语气可能掩盖了重要条件的缺失。
何时不能无检查地信任人工智能
医学。神经网络可以解释术语或帮助制定对医生的问题，但不应取代诊断、治疗建议和对症状紧急性的评估。法律。法律因国家、地区、日期和案件情况而异。即使是一处错误的细节也可能改变结果。金钱。在做出财务决定前，需自行检查费用、风险、合同条款和最新规则。自信的语气并不会使建议变得安全。新闻。模型可能会混淆日期、参与者和事件，或将旧信息呈现为新信息。消息应对比几篇独立的出版物。技术说明。对一个程序或设备的安全命令在另一个版本中可能导致数据丢失。必须先查阅官方文档，并在可能的情况下在副本上进行测试。人工智能确实有用的时刻
神经网络在需要草稿、结构或处理已提供材料的任务中表现良好。它可以用简单的语言解释复杂的术语，提出标题，缩短文本，制定清单，查找文档中的矛盾，或帮助形成问题给专家。
对待人工智能的方式应更像是一个快速的助手，而不是最后真理的来源。它在第一阶段节省时间，但决策由人类做出。错误价格越高，验证回答的就越应仔细。