「推理实验」共找到 3016 篇相关文章
腾讯太极团队实现DeepSeek模型业内H20最高性能15800+ tokens/s
腾讯太极团队揭秘实现DeepSeek模型15800+ tokens/s业内H20最高性能的方法，通过PD分离、多层MTP优化等全栈优化方法论，还介绍多机性能优化方案，后续预计性能突破20000 tokens/s。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
国产芯片比英伟达整体效率更高！？华为 CloudMatrix384 超节点首曝论文，跑 DeepSeek 效率超越英伟达
今年4月，网上曾争论华为芯片效率是否超国际主流。近日华为团队论文公开，阐述在CloudMatrix 384超节点部署DeepSeek大模型细节，性能指标超英伟达体系，还介绍架构、软件栈及适配优化方案。
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
音频大模型安全可信度的全面“体检”！6大维度，清华南洋理工联手打造
南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
给文档质量"打分"：DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型
文档图像质量评估（DIQA）是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像，缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型，补齐缺口。
蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效
近期，新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏，实验表明其在 LLM、VLM 蒸馏效果好，鲁棒性强，训练稳定，为在线策略蒸馏提供新思路。