「权重收敛」共找到 229 篇相关文章
OpenAI新模型gpt-oss-120b怎么样？三大场景实测首发（对比GLM-4.5-Air）
OpenAI发布新开源模型gpt-oss-120b，时隔6年再推开源权重语言模型，给LLM开源生态增添变数。作者实测它在三大场景的表现，并与GLM-4.5-Air对比，认为其距开源SOTA有距离。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
连续自回归的dots.tts：小红书开源语音合成模型「基座」
语音合成赛道发展如早期大语言模型，路线未收敛。小红书与上海交通大学合作开源的 dots.tts，是 20 亿参数、全连续、端到端自回归 TTS 基础模型，有准确度高、可扩展等特点，还开源了代码。
Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺
Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。
无需训练，如何提升黑箱VLM？CARPRT用「类别感知」给出答案
近年来，视觉 - 语言模型（VLMs）改变图像理解范式，但零样本分类性能对 Prompt 敏感。墨尔本大学 TMLR 小组提出 CARPRT 方案，以“无训练、黑箱适配、类别专属权重”解决提示词语义适配不足问题，已被 ICLR 2026 接收。
谷歌发布 Gemma Scope 2，深化对 LLM 行为的理解
Gemma Scope 2 是谷歌推出的解释 Gemini 3 模型行为的工具，结合稀疏自编码器和转码器，能让研究人员检查模型内部表示。它从多方面扩展了原先的 Gemma Scope，还引入针对聊天机器人的分析工具，已发布权重。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
刚刚，GPT-5内测抢先泄露！推理强到离谱，智商被曝140超越人类天才
周五凌晨，GPT-5、GPT-5 Mini和GPT-5 Nano将推出，全网可通过API和ChatGPT访问。GPT-5基准测试结果疯传，实测表现出色。同时，OpenAI发布开放权重模型GPT-oss，登顶开源王座，外媒分析其豪赌开源原因。
模型、代码、数据全开源！轻松训练自己的垂类Agent！
Together AI联合Agentica推出`DeepSWE-Preview`，基于开源Qwen模型，用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源，抛弃SFT纯用RL训练，还分享训练秘籍和TTS技巧，为垂类Agent训练提供新范本。