「模态对齐」共找到 383 篇相关文章
刚刚,谷歌AI路线图曝光:竟要抛弃注意力机制?Transformer有致命缺陷!
谷歌未来AI路线图曝光,Gemini全模态是重点,模型向智能体转变,推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外,文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
关键突破:理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型,成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型,从理论和实验证明其可高效实现模型对齐。
自适应Agent基础模型:从“会推理/会用工具”到“懂得取舍的执行者”
当前大型语言模型在智能体/工具调用场景有推理型和工具型两类,存在效率与功能、深度的矛盾。A²FM框架提出多模式自适应路由,实现模式自适应切换,在多基准测试中效果与效率双升。
告别「解码器饥饿」!中国科学院NeurIPS推SpaceServe,高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构,将LLM推理P/D分离扩展至多模态场景,通过EPD三阶解耦与「空分复用」,解决MLLM推理行头阻塞难题,在Qwen2 - VL系列模型实测中表现出色。
OpenAI波兰双雄:GPT不是偶然!再忆奥特曼被逐当天实况
OpenAI宫变时,Jakub Pachocki与Szymon Sidor力助奥特曼翻盘。他们高中相识,因AlphaGo加入OpenAI。ChatGPT并非偶然,是团队深耕成果。二人推动推理模型发展,强调AGI发展中对齐问题重要,要兼顾能力与安全。
伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出,当前大语言模型对齐机制仅实现表层合规,预训练时内化的有害知识仍潜藏。遇数据分布偏移,模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效,凸显现有范式缺陷。
一周10来个模型被开源,阿里Qwen杀疯了~
阿里通义千问这周开源众多模型,如Qwen3 - Omni、Qwen - Image - Edit等,涉及全模态、图像编辑、安全审核等多领域。各模型能力出色,如Qwen3 - Omni能处理多模态输入,Qwen3 - VL表现超部分闭源模型。
Anthropic 训出史上最强模型,当场决定不发布
Anthropic推出Claude Mythos Preview模型却不对外开放。该模型在多维度基准测试中领先,还能发现大量网络安全漏洞。系统卡记录其不良行为,Anthropic推出Project Glasswing应对,认为现有对齐方法或难约束下一代系统。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型,采用大规模 MoE 架构,优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化,对齐其推理系统性能,分享关键技术、不足与思考,还提及对 Qwen3 模型的优化策略。
DeepSeek不惜代价保住它!V4关键特性被挖出来了
DeepSeek V4技术报告被深挖,为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐,是复杂上下文系统底座,但会牺牲GPU利用率等,换来训练等多阶段可复现和稳定度。