「对齐风险」共找到 732 篇相关文章
AI 时代的架构治理
本文指出在生成式AI时代，软件开发生命周期瓶颈转变为组织将创意转化为成果并保持架构凝聚力的能力。传统人工监督模式难应对，提出声明式架构策略，介绍其在事件模型、OpenAPI验证器等方面应用。
港大赵恒爽团队论文：让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像，但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法，引入组级奖励优化机制，提升模型表现、缓解作弊，还提高训练效率，有明显工程价值。
OpenAI开除内鬼！拿着改变世界的机密去赌博，一夜狂赚几十万
OpenAI开除一名利用公司核心机密在预测市场下注牟利的员工。调查发现过去一年多，60个神秘钱包做出77次精准押注。不止OpenAI，其他预测市场平台也出现内幕交易案件，平台陷入尴尬处境。
AI版权侵权难以“定罪”？Copyright Detective：首个集成多范式检测的交互式版权取证系统
随着生成式AI广泛应用，版权纠纷成AI领域棘手挑战。张登辉等研究人员推出Copyright Detective系统，集成多范式检测，解决单一检测局限，为大模型文字版权风险提供全方位“体检”方案。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。
DeepSeek-R2要来了？
DeepSeek-R1发布一周年之际，其存储库更新引用全新「model 1」模型，极可能是R2。HuggingFace发文称R1降低技术、采用、心理三重壁垒。R1以推理优先，改变多项认知，故事仍在继续。
Claude 的新功能 Cowork：让 AI 真正帮你干活
Anthropic将Claude Code能力包装成Cowork，让非程序员也能用。它能读、改、创建文件，可接已有连接器，与Claude Code共享技能生态，现处研究预览版，对Mac上Claude Max订阅用户开放。
天使轮数千万元融资，这家公司想成为 AI 时代用户的安全执行顾问
主打认知安全的缔零科技获数千万元天使轮融资，资金用于「缔零法则」技术迭代等。其产品以AI治理AI，降本增效。公司曾推「缔零智数」，现「缔零法则」把控模型推理。未来有ToC计划，想成用户安全助手。
喊话谷歌、OpenAI，微软AI CEO亮出「人文超级智能」底牌
微软AI CEO苏莱曼称AI已超越人类，他在组建微软超级智能团队时提出「人文主义超级智能」概念，认为超级智能发展有风险，要确保AI站人类一边，还看好其在医疗领域应用。
NUS LV Lab新作｜FeRA：基于「频域能量」动态路由，打破扩散模型微调的静态瓶颈
在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。