「自回归基座模型」共找到 7859 篇相关文章
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
揭示隐藏联系：RLHF/DPO即对比学习！
大型语言模型输出符合人类价值观是挑战，主流技术RLHF复杂、昂贵且不稳定，DPO简化流程但有训练崩溃问题。论文揭示RLHF/DPO即对比学习，提出MIO算法解决DPO崩溃，实验验证其性能优势。
哇塞，今天北京被机器人人人人人塞满了！
世界机器人大会在北京开幕，100多个新机器人亮相。智平方的爱宝机器人人气爆棚，它能用一个基座模型完成多任务。其搭载的GOVLA大模型有四大核心能力，且已在多行业商业化落地。
机器人进入“边做边学”时代：星尘发布在线强化学习框架，让动态投掷成功率提升超141%
星尘智能基座模型团队公布在线强化学习框架SmoothRL，解决异步执行环境中具身模型在线微调难题。该框架让策略更新对应硬件实际执行，攻克延迟失准问题，在多项真机测试中大幅提升任务成功率。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
不用人类手写训练框架了！AI自己写代码，训出1B端侧「小钢炮」
5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
MLLM集体翻车，缺乏婴儿级常识！业界首个核心认知基准发布，LeCun转赞
当前大模型在12项核心认知上普遍落后人类10 - 30%，越大的模型越易靠「背答案」糊弄。团队公开首个系统评测框架和题库，用Concept Hacking方法识破模型真假理解，指出模型存在核心知识缺失等问题。