亚马逊推出AI工具，检查大模型可能存在的幻觉问题

亚马逊云科技近日宣布，其在Amazon Bedrock Guardrails中引入了自动推理检查（预览版），这是一种新的保障措施，旨在防止幻觉导致的错误。Amazon Bedrock Guardrails为生成式人工智能应用提供了保障，允许用户通过内容过滤、个人身份信息（PII）编辑和增强内容安全性与隐私性来实施保障措施。用户可以配置策略，包括拒绝主题、内容过滤器、单词过滤器、PII编辑、上下文基础检查以及自动推理检查。自动推理检查使用数学逻辑算法来验证模型生成的信息，确保其与已知事实一致，而不是基于虚构或不准确的数据。这有助于防止事实错误和幻觉。