「权重解耦」共找到 263 篇相关文章
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
必看！Sebastian Raschka新博客盘点了所有主要注意力机制
著名AI技术作家Sebastian Raschka发布博客《现代LLM中注意力变体的可视化指南》，回顾近年开发并用于开放权重架构的注意力变体，包括多头、分组查询、多头潜在等注意力机制，还分析各机制特点、应用场景及优劣势。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
NeurIPS 2025 | 蚂蚁CGM：图融合架构重塑代码大模型，探索非 Agent 新范式
在NeurIPS 2025上，蚂蚁将展示Code Graph Model (CGM)。它把代码库图结构集成到开源LLM，开启新范式，在代码库级任务上以非Agent方案登顶开放权重模型榜首，解决了复杂软件工程的Agent依赖难题。
2.12页/秒，MinerU2.5太快了，1.2B硬刚腾讯、阿里
GPT - 4o等刷新OCR榜单，但产业界仍面临文档图像处理难题。MinerU2.5提出1.2B轻量级文档解析模型，采用创新解耦范式，在多基准测试表现出色，单卡吞吐快，还给出可借鉴创新点。
面壁小钢炮 VoxCPM-TTS：开源端到端 TTS，轻量高效低延迟
面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。
OpenAI新模型gpt-oss-120b怎么样？三大场景实测首发（对比GLM-4.5-Air）
OpenAI发布新开源模型gpt-oss-120b，时隔6年再推开源权重语言模型，给LLM开源生态增添变数。作者实测它在三大场景的表现，并与GLM-4.5-Air对比，认为其距开源SOTA有距离。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺
Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。