搜索：无注意力模型

「无注意力模型」共找到 8076 篇相关文章

连续发布两款万亿参数模型，蚂蚁 AI 来势汹汹

国庆期间大模型行业热闹非凡，各团队产品侧重不同。蚂蚁百灵大模型团队在十天内连续发布并开源两款万亿参数模型 Ling-1T 和 Ring-1T-preview，引发关注。万亿参数模型难训，国内达到此规模的屈指可数。Ling-1T 综合性能出色，应用场景广泛。蚂蚁选择开源，意在构建开放 AGI 生态。

一条10分钟一镜到底的Demo视频引发关注，视频中宇树和智元的机器人同用一个“大脑”，完成多种任务，如擦窗、收纳等，还展现出跨本体协作等能力。该模型跳出主流具身模型固有框架，或改写具身智能行业认知。

论文提出基础模型本身已具备强大推理能力，通过“幂采样”纯采样算法，在多推理任务上媲美或超越RL后训练，挑战“RL才能提升推理”观念，为理解基础模型潜力开新视角。

图像推理现新难题，在Reddit引发热议，目前无AI能真正解决。国内外支持图像输入的大模型答案不同，原因是对大立方体规格理解不同。结合提示多次尝试，部分大模型能找准方向，人类面对该问题也会困惑。

蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。

腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。

文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。

蚂蚁集团旗下灵波科技开源具身智能模型及世界模型LingBot-World，它将视频生成模型进化成可交互世界模拟器，采用多阶段进化策略，有涌现记忆等能力，虽有不足，但为开源社区构建世界模型迈出坚实一步。

MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。

高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。