「对齐风险」共找到 698 篇相关文章
一文解读 LLM Posting-Train技术
文章解读了大语言模型后训练（Post-training）技术，介绍其核心价值，从微调、强化学习、测试时拓展三方面展开，分析现有技术瓶颈，指出前沿研究方向，还给出实践指南和工具链推荐。
陶哲轩ICM 2026：数学界迎来「百年新危机」，AI狂飙逼迫全行业重写游戏规则
7月24日，陶哲轩在ICM 2026演讲指出数学界正经历新危机，关乎价值观与工作方式。他围绕AI能力猜想探讨数学界如何应对，列举目标和风险，提出需升级目标，还介绍莱顿宣言建议。
当 AI Coding 进入复杂企业系统，为什么提效远没有宣传里那么美好 ？
以Claude Code、Codex为代表的自主编码智能体席卷开发者生态，但夸大能力现象严重。在复杂企业系统中，AI Coding提效远没宣传美好，存在诸多问题，企业应分级应用、进行约束下的人机协作。
ChatGPT默认模型大升级，GPT-5.5 Instant正式上线：新增记忆来源功能
OpenAI宣布ChatGPT默认模型升级为GPT-5.5 Instant，面向所有用户开放。升级核心是准确性，在高风险领域幻觉内容减少，能力全面提升，回复更简洁。还提升了个性化能力，引入记忆来源功能。
“开源已死”？怕被 OpenAI 和 Mythos 把代码挖成筛子，4 万 Star 项目突然闭源！
近日，开源初创公司 Cal 将旗舰级开源项目转为闭源，因其无力应对 AI 攻击开源代码的风险。Cal 发展成功，此前坚持开源五年，如今因 AI 闭源引发开发者质疑，还推出开源版 Cal.diy。
AI 时代的架构治理
本文指出在生成式AI时代，软件开发生命周期瓶颈转变为组织将创意转化为成果并保持架构凝聚力的能力。传统人工监督模式难应对，提出声明式架构策略，介绍其在事件模型、OpenAPI验证器等方面应用。
港大赵恒爽团队论文：让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像，但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法，引入组级奖励优化机制，提升模型表现、缓解作弊，还提高训练效率，有明显工程价值。
OpenAI开除内鬼！拿着改变世界的机密去赌博，一夜狂赚几十万
OpenAI开除一名利用公司核心机密在预测市场下注牟利的员工。调查发现过去一年多，60个神秘钱包做出77次精准押注。不止OpenAI，其他预测市场平台也出现内幕交易案件，平台陷入尴尬处境。
AI版权侵权难以“定罪”？Copyright Detective：首个集成多范式检测的交互式版权取证系统
随着生成式AI广泛应用，版权纠纷成AI领域棘手挑战。张登辉等研究人员推出Copyright Detective系统，集成多范式检测，解决单一检测局限，为大模型文字版权风险提供全方位“体检”方案。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。