「模型优化器」共找到 8298 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。
智谱新模型也用DeepSeek的MLA，苹果M5就能跑
智谱AI上市后发布新成果，开源轻量级大语言模型GLM-4.7-Flash，API免费开放调用。该模型是30B总参数、3B激活参数的MoE架构，定位为“本地编程与智能体助手”，评测表现佳，采用MLA架构，多平台支持。
碾压π0.5，复旦团队首创「世界模型+具身训练+强化学习」闭环框架
复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题，提出 ProphRL 框架。该框架以世界模型 Prophet 为核心，结合 RL 算法，为具身智能落地提供更可行路径，实验效果显著。
缩放定律Scaling正慢性死亡，算力收益递减，AI的下一个增长极是模型如何交互
前Google Brain科学家Sara Hooker论文指出，统治AI十年的缩放定律Scaling走向慢性死亡，算力收益递减，研究重点将转向推理时算力和模型如何交互，还分析了算力崇拜兴起、缩放法则裂痕及未来方向。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
当顶级视频模型半衰期只有 30 天，fal.ai 为什么收入反而一年增长 60 倍？
在生成式媒体技术发展背景下，fal.ai 作为生成式媒体 infra 公司迅速崛起。它通过统一 API 与云端平台提供多模态模型调用能力，2025 年收入增长 60 倍并完成融资。文章解析其如何构建护城河及对行业发展的判断。
BIGAI & 中科大团队提出 MILR: 测试时隐空间推理，让图像生成学会「边想边改」丨ICLR 2026
BIGAI与中科大等团队提出MILR，通过测试时隐空间推理，在不更新模型参数下优化图文表示，提升复杂图像生成能力。该方法在多基准测试达SOTA，还探讨了测试时扩展与奖励模型，未来有诸多拓展方向。
阿里AI 重磅第4发：电影级MOE 视频模型Wan2.2正式开源！
阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。