“如果一家公司的智能体利用了过时或不准确的数据 ，AI幻觉可能会虚构出并不存在的引爆御策漏洞 ，或错误解读威胁情报，网络危机导致不必要的安全警报或忽视真正的风险。此类错误可能会分散对真正威胁的揭示注意力，创造新的大防漏洞 ，并浪费本已紧张的幻觉安全运营团队资源。”Tanium的建站模板引爆御策AI副总裁Harman Kaur在接受采访时表示 。
一个新兴的网络危机担忧是“包幻觉”现象 ，即AI模型会建议不存在的安全软件包 ，这一问题已被识别为供应链攻击的揭示潜在媒介，被称为“slopsquatting” 。大防攻击者可以利用这些幻觉 ，幻觉创建具有建议名称的引爆御策恶意软件包 ，导致开发者无意中将有害代码集成到他们的网络危机系统中。
“如果未经彻底验证和人工审查就使用AI生成的代码 ，免费模板可能会引入重大风险和复杂性 。初级开发者尤其容易受到错误代码或配置文件的风险影响 ，因为他们缺乏足够的能力来正确审核代码 。对于高级开发者而言 ，他们可能会及时发现错误，然而 ，越来越多的人过度依赖GenAI ，盲目信任其输出 。”ImmuniWeb的CEO Ilia Kolochenko表示。
另一个担忧是AI可能产生虚假的威胁情报 ，服务器租用如果这些报告被当作事实接受 ，可能会分散对实际威胁的注意力 ，导致真正的漏洞得不到处理 。当AI输出未与可靠来源进行交叉验证时 ，风险会进一步加剧。
缓解AI幻觉的策略“AI幻觉是概率模型的预期副产品 ，”Qwiet AI的CTO Chetan Conikee解释道 ，他强调重点不应放在完全消除它们上，而是放在最小化对运营的香港云服务器影响上 。“CISO的首要任务应该是通过设计 、监控和政策来限制运营影响 。”
这始于有意的架构设计 ，Conikee建议在AI系统周围实施结构化的信任框架 ，这种方法包括实用的中间件 ，通过确定性检查和特定领域过滤器来审查输入和输出 ，这一步骤确保模型不在孤立环境中运行 ，而是在明确界定的范围内运行 ，模板下载反映企业的需求和安全态势 。
可追溯性是另一个基石 。“所有AI生成的响应都必须包含元数据 ，包括来源上下文 、模型版本 、提示结构和时间戳 。”Conikee指出 。当出现不准确时 ，此类元数据能够加快审计和根本原因分析的速度，这是将AI输出集成到业务运营或面向客户的工具中的源码库关键保障措施。
对于部署大型语言模型(LLM)的企业 ，Conikee建议除非必要 ，否则应避免开放式生成 。相反 ，企业应依赖基于精心策划的内部知识库的检索增强生成(RAG) 。“这确保了模型从经过验证的信息中提取数据 ，并与内部标准保持一致。”Conikee解释道。
严格的测试也很重要 。“在测试阶段应纳入幻觉检测工具 ，”Conikee说 。在模型进入生产环境之前，安全领导者应定义可接受的风险阈值和故障模式。“目标不是完美的准确性 ，而是对GenAI的使用地点和方式进行可衡量和可审计的控制。”
通过将信任 、可追溯性和控制嵌入到AI部署中，CISO可以在创新与责任之间取得平衡 ，在不影响进展的情况下控制幻觉：
1. 实施检索增强生成(RAG) ：RAG结合了AI的生成能力与从经过验证的数据源中提取信息的检索系统，这种方法使AI输出基于事实数据 ，降低了产生幻觉的可能性 。
2. 采用自动化推理工具 ：像亚马逊这样的公司正在开发使用数学证明来验证AI输出的工具，确保它们与既定规则和政策保持一致 ，这些工具可以提供一层保障，特别是在关键应用中 。
3. 定期更新训练数据 ：确保AI系统基于当前和准确的数据进行训练 ，可以最小化产生幻觉的风险 ，过时或有偏见的数据可能导致AI生成不正确的输出 。
4. 融入人工监督 ：在关键场景中 ，人类专家应审查AI生成的输出 ，这种监督可以捕捉AI可能遗漏的错误 ，并提供AI所缺乏的上下文 。
5. 教育用户了解AI的局限性 ：培训用户了解AI的能力和局限性 ，可以培养对AI输出的健康怀疑态度 ，鼓励用户验证AI生成的信息 ，可以防止不准确信息的传播 。
GuidePoint Security的进攻性安全高级副总裁Victor Wieczorek解释说：“我们需要实际的护栏 ，这意味着将AI响应直接与记录的政策相关联 ，标记或记录高风险输出 ，并确保在重大事项到达客户之前由人类进行审查 。将模型视为一名新实习生 ：它可以帮助起草想法和处理常规问题 ，但不应就任何敏感事项做出最终决定。”