「模型训练与微调」共找到 8113 篇相关文章
通义团队提出环境Scaling：自动构建环境，并自主学习和成长，可让30B比肩1T效果
阿里巴巴通义实验室团队论文提出通过程序化、自动化构建模拟环境，让语言模型自主交互学习。基于此训练的AgentScaler模型，数十亿参数就达万亿级模型性能，为轻量级代理智能发展带来新可能。
DeepSeek开源新基础模型，但不是V4，而是V3.1-Base
昨晚深度求索宣布DeepSeek线上模型版本升级至V3.1，在Hugging Face发布新模型DeepSeek - V3.1 - Base。该模型是V3系列最新基础模型，发布后冲上Hugging Face热门榜第4位，社交网络看法不一。
跨机器、物体与各种任务！RoboScience发布通用具身大模型
RoboScience机器科学发布Visics通用具身大模型并披露VLOA技术架构。该模型从底层搭建全新具身基础表征单元，适配任意机器人、物体和任务。其由具身世界模型和通用操作模型组成，有强大泛化和操作能力。
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
登顶SuperCLUE DeepSearch，openPangu-R-72B深度搜索能力跃升
近日 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能，经预训练技术优化和 DeepSearch 专项突破，彰显国产算力与大模型研发融合成效。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
大模型七连发，外国人馋透了！阿里云栖大会全栈升级够狠
阿里在2025云栖大会全栈升级，发布七款通义新模型，从基础大模型到各专项领域全覆盖。旗舰模型Qwen3 - Max性能超GPT - 5等，新架构Qwen3 - Next实现效率突破，多模型开源且表现出色。
快手Klear-Reasoner登顶8B模型榜首，GPPO算法双效强化稳定性与探索能力！
快手Klear团队推出Klear-Reasoner模型，基于Qwen3 - 8B - Base打造，在多基准测试达同规模SOTA。其核心GPPO算法能强化稳定性与探索能力，团队还对训练流程多环节深入分析，给出优化策略。