「对齐风险」共找到 728 篇相关文章
在AI社会抓「内鬼」？上海AI Lab推出首个多智能体极端事件解释框架
2023年起多智能体系统成人类社会数字镜像，但复杂系统会自发涌现极端事件。上海AI Lab等团队推出解释框架，用沙普利值拆解风险，发现极端事件五大演化规律，还能提前防控风险。
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
「10万小时人类数据」不搞对齐只靠规模，灵初智能Psi-R2登顶MolmoSpaces！
4月10日晚，灵初智能发布大模型、数据集与合作计划，包括策略模型Psi - R2、世界模型Psi - W0及近10万小时人类操作数据。其未走花哨对齐路线，靠系统协同，在MolmoSpaces评测中表现优异，体现自主研发路线先进性。
所有人在让Agent更强，YC却投了一家靠Agent翻车赚钱的公司。
YC孵化的新公司Mount给AI Agent卖保险。如今企业大量使用Agent，但翻车规模也在扩大。Agent频繁出事或因引入新型债务，工程手段只能降低风险，剩余风险可被保险覆盖。YC CEO有独特比喻。
Qwen3-ASR开源：够稳定，能流式，多语言！
今日正式开源Qwen3-ASR系列模型，含两个语音识别与一个语音强制对齐模型，支持多语种。依托创新技术实现精准稳定识别，1.7B模型多场景达SOTA，0.6B兼顾性能效率，强制对齐模型精度超传统模型。
图文跨模态“近视”问题破局：360开源新模型 FG-CLIP，实现细粒度图文对齐突破｜ICML2025
360人工智能研究院发布 FG - CLIP 模型，攻克图文细粒度对齐难题，成果被 ICML 2025 接收并开源。它采用双阶段训练等策略，在多任务评测中超越对比模型，推动跨模态研究产业化落地。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
ICSE 2026杰出论文 | 突破代码模型真实工程落地瓶颈，北大团队提出SEAlign对齐框架：显著提升软件工程智能体决策质量
现有代码模型在经典基准表现好，但在真实软件工程环境表现差。北大金芝、李戈团队提出 SEAlign 框架，通过识别与对齐智能体轨迹关键决策点，提升模型在真实工程任务表现，成果获 ICSE 2026 杰出论文奖。
巨头垄断AGI，比天网更恐怖百倍!《终结者》导演卡梅隆炸裂警告
《终结者》导演詹姆斯·卡梅隆在「SCSP AI+Robotics Summit」上称，看好AI但对AGI保留态度。他警告科技巨头垄断AGI比《终结者》中「天网」更可怕，还探讨了AI与国家安全、「对齐」难题等问题。
最新硅谷内幕：三大巨头正集体冲刺RSI！
本文曝光硅谷AI巨头谷歌、OpenAI、Anthropic暗中集体冲刺递归自我改进（RSI）技术，多家已出现AI自主写代码、优化模型的早期迹象，业内热议RSI或将加速超级AI到来，带来不可控的生存风险。