「权重外推」共找到 840 篇相关文章

算法论文8

DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO

论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。

深度学习自然语言处理
新闻资讯8

Scaling Law 仍然成立,企业搜广推怎么做才能少踩“坑”?

InfoQ《极客有约》X AICon 直播栏目邀请京东、荣耀等专家探讨生成式推荐落地洞察。指出搜广推领域 scaling law 仍成立,大模型改变特征工程等,还分享了系统架构、模型应用等方面经验及挑战。

InfoQ
开源动态7

刚刚,阿里Qwen3.6又悄悄放出4个开源权重,卷疯了

继今年2月发布Qwen3.5系列后,阿里推出Qwen3.6多个开源权重版本。Qwen3.6优先保障稳定性与真实场景可用性,为开发者提供更好编码体验。介绍了Qwen3.6 - 27B和Qwen3.6 - 35B - A3B亮点。

PaperAgent
新闻资讯7

o3-pro通关“推箱子”,人类怀旧小游戏成了大模型新Benchmark

推箱子、俄罗斯方块等经典小游戏成大模型benchmark,o3 - pro挑战这两款游戏表现出色,突破benchmark上限,成绩远超o3。Lmgame含多款游戏,有不同评价方式,且开源可用于模型测试。

量子位
新闻资讯8

不只是DeepSeek V4,还有个万亿级大模型,训推全程国产芯片

2026年4月24日,DeepSeek发布新一代模型DeepSeek - V4系列预览版并开源。同日,美团用全国产算力集群训练出万亿参数大模型LongCat - 2.0系列预览版,训推全流程摆脱英伟达,在国产算力支撑万亿级模型研发上取得突破。

机器之心
算法论文8

大模型如何"不训练"也能学习?——上下文学习的隐式权重更新机制

大型语言模型能通过上下文学习(ICL)在推理时即时学习新任务,无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新,解释了ICL原理,为构建AI系统开辟新路径。

深度学习自然语言处理
算法论文7

LLM已能自我更新权重,自适应、知识整合能力大幅提升,AI醒了?

近期,AI自我演进话题研究讨论渐热。OpenAI奥特曼畅想AI自我改进未来,有爆料称其内部运行递归式自我改进AI。MIT论文提出SEAL框架让LLM自我更新权重,引发热议,实验显示其有提升但也有局限。

机器之心
新闻资讯8

不到一年ARR破亿元,GEO厂商智推时代获数千万元天使轮融资 | 甲子光年

近日,AI营销科技公司智推时代完成数千万元天使轮融资,将用于技术研发等。其成立一年多 ARR 破亿,服务近 400 家头部客户。自研 GENO 系统,与华东师大共建实验室,还布局全球市场。

甲子光年
开源动态8

基础模型又一关键拼图,腾讯混元发布训练新范式「无相」:引入功能性记忆,打破静态权重枷锁

腾讯混元团队发布HY - WU范式,打破静态权重束缚,引入功能性记忆,实时生成个性化参数。应用于图形编辑基模效果好,在图像编辑任务表现优秀,还对未来AI架构提出多方面展望。

量子位
开源动态8

通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%

文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。

GiantPandaLLM