「Attention性能瓶颈」共找到 2449 篇相关文章
Make SFT Great Again！从SFT到DFT：一权重之差，泛化之跃
大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。
MiniMax深夜开源首个推理模型M1，这次是真的卷到DeepSeek了。
MiniMax深夜开源首个推理模型M1，其上下文能力媲美Gemini 2.5 Pro。M1在部分评测中表现中规中矩，但在MRCR（4 - needle）测试中屠榜。它得益于MiniMax - 01基座模型，应用Lightning Attention机制，开源了40K和80K两个版本。
Gemini Flash/Lite 更新：更聪明、更快、更省钱
Gemini 2.5 Flash 和 2.5 Flash-Lite 更新，可在 Google AI Studio 和 Vertex AI 上使用。相比稳定型号，预览型号质量和速度提升，效率更高，分别减少一定比例输出令牌。两版本各有优势，如 Flash-Lite 指令遵循等能力提升，Flash 工具使用性能更好。
DeepSeek流量暴跌？AI大模型全球霸主离奇遇冷，外媒曝出真相
曾以低价高性能出圈的DeepSeek，在自家平台遇冷、市场份额下滑，但其R1和V3模型在第三方平台使用量增长近20倍。背后是‘Token经济学’及战略转移，它开源模型，将算力留作研发。Anthropic也因算力受限有类似问题。
光掩模版：芯片产业的 “隐形胜负手”
光掩模版是芯片制造的“微观底片”，其制造流程复杂，精度要求达纳米级。全球市场规模持续增长，亚太占比超60%。中国企业已在部分环节突破，但仍面临高端设备依赖、材料瓶颈和人才短缺挑战。未来技术融合与国产化生态建设将助力产业发展。
Gemini 3.5 Pro绝密泄露，前端赶超Fable 5！
全网被Gemini 3.5 Pro泄露刷屏，传闻7月17日发布。它在前端生成表现出色，一次成型、精准零失误，性能超Fable 5，但在硬核推理等任务上不如Fable 5和GPT - 5.6。谷歌为其重预训练，还准备对标GPT - Image 2的图像模型。
Issue修复开源No.1！蚂蚁 | 提出代码图模型：CGM，结合GraphRAG架构，领先最强开源7.33%
为解决开源模型在仓库级代码理解上的能力瓶颈，蚂蚁全模态代码算法团队提出 CGM 架构，融合仓库结构与语义信息。CGM 首创图结构与语言模型融合的对齐框架，还搭配了 GraphRAG 框架，在多个代码任务中表现出色，且相关资源均已开源。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌Deepmind推Genie 3，Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升，实测编码能力强于gpt - oss。gpt - oss虽有亮点，但幻觉率高、实测效果不佳。