「参数化知识注入」共找到 1299 篇相关文章
破局大模型训练黑盒，MegatronApp开源实现万亿参数「可视可控」训练
在2025上海QCon大会上，算秩未来赵伯罕博士指出万亿级大模型训练困境。上海期智研究院和算秩未来联合研发MegatronApp，以低入侵方式补齐链路，其四个模块形成闭环，让训练从黑盒变白盒，项目已开源。
登顶！快手发布开源编程模型，720亿参数，创下编程能力新纪录
快手发布开源编程模型KAT-Dev-72B-Exp，在SWE-Bench Verified测试中登顶开源代码模型，与闭源GPT - 5成绩相近。该模型基于自研框架，有架构创新，还集成多种软件工程能力，是构建编程智能体的有力工具。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？
论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。
同一天两件大事！小模型直接掀翻千亿参数，走向效率为王
5月13日AI圈有两件大事，何恺明团队发布语言模型ELF，面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’，拉开AI轻量化浪潮序幕，未来小模型或成关注方向。
去掉 VAE 之后，商汤用 8B 参数重新定义了开源生图的上限
商汤SenseNova U1开源后引发开发者社区关注，它基于NEO - unify架构，摒弃VAE，实现多模态理解与生成原生统一。在多项基准测试中表现出色，还针对企业办公场景优化，成为生产级任务新选择。
马斯克用恐怖算力，堆出6万亿参数性能怪兽Grok 5！剑指AGI
马斯克以Grok为核心推进xAI，从算力、数据到产品生态全面布局通往AGI的道路。Grok迭代迅速，有独特研发哲学。X平台数据、特斯拉算力成资源护城河，Grok还将进入特斯拉汽车。但Grok成长中也有争议，xAI在探索中前行。
知识增强LLM与搜索引擎用户的感知信息价值差异比较研究
研究选取文心一言与百度搜索引擎，探究不同任务复杂性、信息获取场景下，用户使用两种工具后的感知信息价值差异。发现两者在部分指标有显著差异，还给出两类工具优化建议。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
0.01%参数定生死！苹果揭秘LLM「超级权重」，删掉就会胡说八道
苹果研究人员发现大模型中极少量的「超级权重」，即便占比仅0.01%，对模型能力影响巨大。这一发现为大模型「科学瘦身」提供思路，还提出定位方法，助力模型量化和未来研究。