「Token级别对齐」共找到 895 篇相关文章
从最优传输角度训练奖励模型:让 RLHF 学会「忽略错误偏好」丨ICML 2026
浙江大学、小红书、北京大学等团队提出SelectiveRM,基于最优传输训练奖励模型。它重构训练目标,通过选择性分布对齐排除噪声偏好,解决了奖励模型训练中监督信号不可靠的问题,实验验证其有效且泛化能力好。
参数砍到 1B,这个小钢炮拿下多模态第一
面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6,虽小但多模态综合能力在 1B 级别中夺冠。它推理快,效率高,靠两大架构创新实现,还为开发者提供完整工具链。
Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构
OpenClaw在使用中易“失忆”,如Meta对齐总监用它处理邮件时失去控制。文章从代码库维护者视角,拆解记忆架构,介绍记忆层次、失败模式,给出配置建议和故障排除方法,助用户了解并优化其记忆机制。
推理快30%,性能超过千亿参数模型,15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker,以150亿参数体量,多模态推理能力强,推理Token消耗降超30%。它在AI分析指数成绩佳,优化计算成本,还介绍了训练策略与多维度性能实测情况。
长达790年视频镜头,打造原生多模态世界模型!北京智源研究院用Emu3.5统一“世界”
北京智源研究院发布并开源基于原生多模态训练的世界学习者Emu3.5,它将视觉和语言视为同一种数据流,在超13万亿token数据上学习,解决长视野多模态信息处理问题,经多阶段训练和优化,能力强大且已开源。
我用一张照片,生成了一个能走进去的世界
斯坦福李飞飞创办的World Labs发布新产品Marble,用一句话或一张照片就能生成3D游戏世界,用户可自由探索。它能降低3D建模门槛,提高影视游戏行业工作效率,潜力大但前景或取决于Token成本。
阿里、南开大学发布免训练,视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性,传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor,用SCC方法和两步时空压缩策略,实验显示其性能优于其他方法。
北大-灵初重磅发布具身VLA全面综述!一文看清VLA技术路线与未来趋势
GPT-4o等多模态基础模型发展,让研究者探索将智能延伸到物理空间,VLA模型受关注。北大 - 灵初联合实验室从动作词元化视角提出新框架,分析主流action token,还介绍了VLA发展趋势及面临挑战。
Anthropic 在 Claude 内部发现"全局工作空间",可以直接读取模型没说出口的想法
Anthropic发布研究,在Claude内部发现J - space(雅可比空间),即“全局工作空间”,它在训练中自发形成。用雅可比透镜技术可读取其内容,还验证了其功能属性,可用于对齐审计等。
面对无解问题大模型竟会崩溃?港中文&华为联合提出首个大模型推理可靠性评估基准
港中文和华为诺亚实验室联合提出ReliableMath基准,探究大模型推理可靠性。提出评估准则,构建含可解与不可解问题的ReliableMath数据集,实验揭示大模型缺陷,还提出提高可靠性的对齐策略。