「权重收敛」共找到 237 篇相关文章
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
0人工参与实现梯度更新！MIT新框架让AI自动生成微调数据，权重自主升级
MIT提出新强化学习框架SEAL，可让模型生成微调数据和自我更新指令，实现权重更新。无需人工，模型能自动梯度更新。经知识注入和小样本学习实验验证效果，还介绍了其双循环工作机制。
2025 上半年具身智能融资复盘：金额超 200 亿、头部收敛趋势明显、传统制造业巨头增多
2025上半年具身智能融资火热，截至7月16日融资事件130件，预估总融资超200亿。资本从大模型转向具身智能，且向头部企业聚拢，大厂与传统制造巨头积极投资，不过行业仍处早期，上市前景待察。
深度学习中Batch Size对训练过程如何影响？
文章分析深度学习中batch size对训练过程的影响，探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题，还通过MNIST实验，从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
黄仁勋倡议的开源联名信，Anthropic 为何不愿签名?
黄仁勋分享支持开放权重模型的联名信，NVIDIA、Google等公司联署，Anthropic缺席遭网友讨伐。Anthropic研究人员回应引争议，这场讨论或存在错位，分歧关键在于发布前评测能否支持模型权重长期外授。
The Batch: 882 | Qwen3-Next 提速
阿里巴巴对开源权重模型 Qwen3 全新升级，发布 Qwen3 - Next - 80B - A3B 的 Instruct 和 Thinking 版本权重。其融合新研究成果，推理能耗低、速度快，还优化架构和训练方法提升效率与稳定性。
EMNLP2025 | SFT与RL的结合，vivo AI Lab提出新的后训练方法
vivo AI Lab 算法团队提出新的大模型后训练框架 GTA，综合 SFT 和 RL 优点，解决文本分类场景中 RL 收敛慢问题。论文已被 EMNLP 2025 录用，介绍了 GTA 框架设计思路、实验结果等，未来还将探索更多场景和大模型。
深度｜开源大战全面开打：老黄+小扎 vs 奥特曼+达里奥
黄仁勋注册X账号分享公开信《Open Weights and American AI Leadership》，25家联署方支持开放权重模型，OpenAI、Anthropic、谷歌三家闭源前沿实验室未签署。信中核心论点是开放权重模型让AI成行业基础设施，还涉及蒸馏等敏感政策争论。
GPT-5攻入数学圈，证明定理快过博士生？网友热议AI新角色
9月初，arXiv一篇论文将GPT - 5写进数学研究成果。它解决了第四矩定理‘收敛速度’的空白，还在凸优化领域提升收敛界限。不过它常犯错，需人类引导，且成果原创性存疑，引发对科研和博士培养的担忧。