「注意力效率」共找到 1375 篇相关文章
刚刚，美团推出 136 亿参数视频生成模型
美团推出 136 亿参数视频生成基础模型 LongCat-Video，采用 MIT 开源协议。该模型覆盖文本、图像生成视频及视频续写三类任务，能生成分钟级长视频。效率高，评测数据表现佳，安装和运行简便，引网友惊叹。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
35B参数科学性能比肩万亿参数模型，『书生』科学大模型Intern-S2-Preview开源
5月15日上海AI实验室开源新一代大模型预览版Intern - S2 - Preview，尺寸小、科学能力强，在多方面有突破。其深化与昇腾算力生态协同，探索‘通专融合’，科学及智能体能力升级，还优化训推效率。
OpenAI o1核心大佬离职后首次演讲！AI智能体=人力+代码「无限杠杆」
OpenAI研究员Hyung Won Chung离职后发声，认为AI是人类历史上最强大杠杆，结合人力与科技优势。它能提升个人学习效率，智能体作为复合杠杆让小团队创造大价值，还能加速社会科学进步。
告别Transformer！北大、北邮、华为开源纯卷积DiC：3x3卷积实现SOTA性能，比DiT快5倍！
北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。
北大联合Llama-Factory推出DataFlex：工业级数据动态训练系统
北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施，纳入三类核心能力，解决底层系统问题，在效率和效果上有提升，受社区认可。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
AI真的需要「像人类」那样思考吗？AlphaOne揭示属于大模型的「思考之道」
近年大模型在推理任务有进展，但缺乏推理节奏调控能力。伊利诺伊大学厄巴纳 - 香槟分校和加州大学伯克利分校研究提出 AlphaOne 框架，引入 α - moment 实现无需训练的推理调控，实验显示其能提升准确率和效率。
ACL 2026 | 中科大&上海AILab揭示强化学习后训练的Scaling Law
中国科学技术大学和上海人工智能实验室等团队，在Qwen2.5和Llama 3模型开展研究，揭示强化学习后训练的Scaling Law，提出幂律公式预测模型学习效率与训练轨迹，成果被ACL 2026接收。
The Batch: 945 | 制药巨头大举押注 AI
制药巨头 Eli Lilly 向 Insilico Medicine 提供最高 27.5 亿美元，用于药物研发。Insilico 用生成式 AI 进行药物发现，从靶点到分子设计效率高，虽尚无 AI 药获批，但显示出潜力。