「幻觉检测」共找到 419 篇相关文章
当AI穿上白大褂：医疗智能体正在重构临床工作流
新加坡等多所高校联合发表医疗智能体综述研究。医疗智能体有感知 - 认知 - 行动闭环，能深入临床长链条工作流。综述剖析其架构、协同机制、应用场景与安全挑战，还探讨评估及发展方向。
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
刚刚，Claude Code推出自动安全审查功能，顺便干掉了10家安全创业
Claude Code推出自动化安全审查功能，有 `/security-review` 命令和GitHub Actions集成两大核心能力，能检测多种漏洞，与传统SAST工具比优势明显，还能解释问题并提供修复建议。
开源模型竟被用于窃取下游微调数据？清华团队揭秘开源微调范式新型隐藏安全风险
清华、墨尔本大学团队研究指出，基于开源模型微调专有模型存在新型隐藏安全风险，开源模型发布者可埋后门窃取下游微调数据，新风险难检测、危害大，目前攻防方法待改进。
迈向无缝共生：大模型GUI Agent的「屏幕图灵测试」与拟人化之路
多模态大模型使GUI Agent能模拟用户执行任务，但也引发与平台的利益冲突。论文提出“屏幕图灵测试”和AHB基准评估拟人化能力，探讨拟人化策略及权衡，为Agent在数字世界共生提供指南。
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
拒绝「盲修」：JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力？
现有 Image Editing Agent 缺乏视觉反馈，易致「指令幻觉」和 Reward Hacking。JarvisEvo 应运而生，它通过 iMCoT、SEPO、On - Policy Reflection 等技术，结合 ArtEdit 数据集和三阶段训练，在修图上表现出色，意义超图像编辑。
绕过Azure AI 护栏的方法及案例
本文指出Azure AI有安全漏洞，攻击者可利用漏洞绕过内容安全机制。介绍了重现步骤，阐述字符注入与对抗性机器学习规避两种攻击技巧，展示攻击效果，还提及微软已部署缓解措施并给出安全建议。
马斯克抢先谷歌一步放大招，Grok 4.1登顶LMArena，创意写作直逼GPT-5.1
谷歌Gemini 3将上线消息正热时，马斯克旗下xAI的Grok 4.1凌晨上线。它有两个“形态”，免费开放且有APP版。在LMArena测试中表现优异，事实稳定性、情商、创意写作等能力提升，实测也有不错表现。