「稀疏语言模型」共找到 7939 篇相关文章
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
一文读懂DeepSeek-V3.2核心技术DSA：API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2，引入自研稀疏注意力机制DSA，API价格最高降75%。DSA先筛选后计算，含闪电索引器和稀疏多潜在注意力两组件，分四步工作，权衡了精确性与速度。
英伟达拿出推理版VLA：Alpamayo-R1让自动驾驶AI更会动脑子
当今自动驾驶模型虽强大，但在‘长尾场景’易翻车。英伟达推出的Alpamayo - R1是带推理能力的视觉 - 语言 - 行动模型，有核心创新，实验中性能显著提升，训练分三阶段，让自动驾驶迈向可解释。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
The Batch: 919 | 本地 AI 能否替代云端？
大语言模型预测输出需求推动数据中心扩建，研究人员探讨本地小型模型能否分担算力负荷。斯坦福与Together AI团队研究发现，本地系统单瓦特智能量与云端有差距但在缩小，若准确率相近可节省能耗。
WhisperLiveKit：本地同步实时语音转文字
实时语音转文字难题待解，现有方案各有缺陷。WhisperLiveKit项目用前沿同步语音技术解决问题，支持多语言同步翻译、实时说话人识别等，还介绍了安装、部署方式，不过效果受语言和模型等因素影响。
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。
汉字防AI作弊！甩英文、拉丁文十几条街
中科院等联合发布 Chronicles-OCR 基准测试，让 20 多个主流视觉大语言模型识别汉字演变史。结果显示，模型在古文字识别上表现糟糕，还存在靠认材质作弊情况，暴露了 AI 理解汉字的局限。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。