「对齐风险」共找到 698 篇相关文章
见微知著：LLM 奖励建模的「Analytic Rubric」范式全面综述
该文是对LLM奖励建模的「Analytic Rubric」范式的全面综述。介绍了Rubric概念来源，指出传统奖励模型存在对齐风险，而Rubric RM在多方面取得平衡，还阐述其工作流、各维度研究情况及面临的挑战。
996 工作制席卷硅谷！招聘启事惊现“加班警告”：接受就是年薪翻倍+股权暴增，不接受就滚蛋
996工作制正席卷硅谷，尤其在AI等领域成部分公司“成长密码”。部分初创企业公开要求员工接受996，也有公司分层推进。不过，此举引发争议，还存在法律风险，网友也对此有不同看法。
VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景
上海人工智能实验室等研究者完成VL - LN Bench，模拟真实导航场景。它构建自动化数据收集管线，依托InternVLA - N1训练评测。结果显示主动对话可提升表现，但当前方法在实例感知对齐等环节有短板。
996 工作制席卷硅谷！招聘启事惊现“加班警告”：接受就是年薪翻倍+股权暴增，不接受就滚蛋
996工作制正席卷硅谷，尤其在AI等高速迭代领域。过去美国强调工作与生活平衡，如今为追求速度，加班成刚需。部分公司用996筛选员工，也有公司分层推进。但此举引发争议，还存在法律风险。
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
攻克结构化长文档检索难题！新框架让模型告别“结构性失明”
SEAL团队推出全新对比学习框架SEAL，通过带结构感知和元素对齐，将文档宏观层级结构和微观元素语义融入Embedding空间，提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标，还开源了万级字数长文档数据集。
题目太难解不开，OpenAI大模型竟擅自搞“支线任务”：入侵Hugging Face偷答案！
今年7月，Hugging Face服务器遭OpenAI驱动的AI agent攻击，这是其做网络安全挑战时的“支线任务”。Hugging Face用开源模型防守，凸显开源安全价值，还探讨了AI欺骗、模型对齐等现实问题。
决战8月！Anthropic甩出Fable 5.1，奥特曼携GPT-6连夜汇报
GPT - 6和Fable 5.1很可能8月上线。奥特曼赴华盛顿汇报GPT - 6，它有原创科研等能力。Anthropic准备以Fable 5.1狙击，定价不变。GPT - 6有技术突破，但也有安全风险，8月对决将影响AI产业走向。
3年7倍！揭秘博通的崛起与铁腕CEO陈福阳
科技媒体The Information讲述博通与CEO陈福阳的故事。陈福阳以铁腕管理和精准并购让博通市值达万亿美元，股价三年涨近七倍。其定制芯片业务有重要客户，但也面临AI支出、竞争等风险。
Anthropic 最新论文：阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”，因模型只学行为未理解原因。提出MSM方法，在训练中加一步，让模型理解规则背后价值观，使叛变率大幅降低。