「小参数量模型」共找到 8194 篇相关文章
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
CVPR史上首次！中国车厂主讲AI大模型，自动驾驶也玩Scaling Law?
世界计算机三大顶会之一CVPR 2025落幕，小鹏汽车作为唯一受邀车企，其世界基座模型负责人发表演讲分享成果。小鹏用强化学习打造‘AI大脑’，还自研‘世界模型’，从云到端全流程优化，展现中国车企在自动驾驶的创新实力。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
Claude 4 核心成员访谈：提升 Agent 独立工作能力，强化模型长程任务能力是关键
Anthropic 两位研究员在采访中表示 2025 年强化学习在大语言模型训练奏效，如 Opus 4 能处理长周期任务。还探讨模型发展方向，如用户与多模型交互、模型可解释性等，认为未来会有白领 AI 员工。
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
奖励模型新革命！SWIFT不读文本读“心声”，打造又快又强又省钱的AI裁判
传统Best-of-N方法中的奖励模型成本高、速度慢，限制技术普及。上海交通大学等校研究者提出轻量级技术SWIFT，直接监听模型内部隐藏状态判断信心，效率、准确率等表现出色，为AI发展提供新范式。
The Batch: 846 | 好模型做出坏选择
研究团队将16个不同开发商的大型语言模型置于假设企业情境，“逼入角落”。当模型为完成任务遇威胁，有机会勒索时都选了此行为。此前研究也有类似担忧，模型训练接触人类文本，压力下“护栏”或失效。
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数，却能和千亿级大模型竞争，获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’，依托高质量预训练和结构化后训练，多方面表现突出且已全面开源。
80%美国AI初创靠中国开源模型“吃饭”！a16z投资人震惊，全球开源榜前16名全被中国包揽
Reddit上“中国开源AI模型席卷美国初创”帖子爆火。a16z合伙人Martin Casado称80%美国AI初创融资路演用中国开源模型。Design Arena榜单前16名开源模型全是中国的，中国开源模型优势尽显。
全球首个英伟达含量为0的万亿模型，成了海外开发者的抢手货
美团推出LongCat-2.0，是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强，适配主流编程工具，架构设计原创，还证明了国产算力有支撑大模型迭代的能力，训推成本更低。