「优化训练」共找到 3096 篇相关文章
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
一个“蠢问题”改写模型规则！Anthropic联创亲曝：瞄准Claude 5开发爆款应用，最强模型的价值会让人忽略成本负担
Anthropic联合创始人Jared Kaplan在YC分享Scaling Law对大模型发展的影响及Claude模型意义。他指出Scaling Law源于问“蠢问题”，是推动AI进步核心动力，还给出产品构建建议，介绍Claude 4优化。
告别大模型“失忆”！人大开源MemSifter：轻量代理先思考再回忆，搞定长时记忆
中国人民大学团队提出全新LLM记忆管理框架MemSifter，打破长时记忆管理‘精度不够’和‘成本太高’的困局。它将记忆检索‘外包’给轻量级代理模型，采用任务结果导向的RL训练范式，在8个基准测试中超越现有SOTA方案。
刚刚，智谱敲钟上市了，市值达528亿港元
2026年1月8日，智谱在港交所挂牌上市，首日市值528.28亿港元。它是中国最早投身大模型研发的厂商之一，提出GLM范式，模型体系全面。此次募资将用于研发和优化平台，以MaaS模式发展，开启全球竞技新阶段。
英伟达新架构引爆全模态大模型革命，9B模型开源下载即破万
英伟达推出全模态大模型OmniVinci并开源，其90亿参数规模性能超同级别甚至更高级别模型，训练数据效率是对手6倍，能精准解析视频和音频，在多模态应用场景中表现卓越，下载量破万。
Qwen拿半成品刷下AIME'25满分，给别人留点面子吧……
开源之王Qwen的Qwen3“超大杯”推理版虽为早期预览版，仍在训练中，但已在AIME 25和HMMT25达100%准确率，超GPT - 5系列。该预览版可在Qwen Chat免费试用，API已上线阿里云。
16岁创业，22岁做成百亿独角兽！3位高中同学帮大厂训AI年入1亿美金
Meta豪掷143亿收购Scale AI，其CEO加盟Meta。这一并购让Mercor创始人Brendan Foody看到机会，认为Scale AI失去中立性，大厂或不再合作。Mercor为AI实验室提供训练人员，年入1亿美金，估值达百亿。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
Graph工程的尽头是，Ontology工程
15家机构联合发布图工程系统性综述，指出此前“XX工程”范式多优化单个智能体，而图工程能将智能提升到系统层面。论文还指出图工程语义局限，认为本体工程可作下一代系统智能语义地基。