「低成本推理」共找到 2115 篇相关文章
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
医疗幻觉率比DeepSeek低3倍，百川循证增强大模型横扫全球医学考试！
百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。
斯坦福&SambaNova联手发布ACE框架：上下文即战力
文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷，将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环，实现上下文低成本、低延迟、高扩展演化，小模型搭配它能击败大模型+传统提示。
实证：现在的LLM根本不会Reasoning！
论文指出当前大推理模型（LRM）如DeepSeek - R1等可能只是在表演“思考秀”，遇到复杂问题就崩溃。研究者用4个可控谜题测试，有三大颠覆发现，还揭示思考过程的荒诞现象，直指行业痛点并给出发展方向。
清华推出AI数学家！独立完成数学理论难题，自动调用基本定理、构建证明思路
清华团队推出AI Mathematician（AIM）框架，可将LRMs推理能力延伸至前沿数学研究。它由三大模块驱动，有两大核心策略。实验显示其能解决多个挑战性问题，虽有不足，但未来有望成数学研究核心驱动力。
新DeepSeek R1代码能力直逼Claude 4！附生成任何优质网站的通用提示词
作者体验DeepSeek R1超8小时，发现其文本写作问题大幅修复，思维链推理改进，代码能力提升，前端审美直逼Claude 4。文章展示其前端能力，给出写前端网页提示词及设计逻辑，还探讨了其在复杂任务中的表现。
首次披露！DeepSeek V3 发布软硬一体协同训练论文，公开「降成本」秘诀
DeepSeek团队发布论文《洞察DeepSeek - V3：规模的挑战和对AI架构硬件的思考》，从硬件架构和模型设计双重视角，探索其经济高效的大规模训练和推理方法，介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。
特斯拉OpenAI数据路线遇挫！8千平具身「兵工厂」+ego众包狂飙
2024年特斯拉和OpenAI在机器人数据采集上路线不同，前者重资产高精度，后者低成本众包。当前数据采集方式各有优劣，难以兼顾质量与成本。数据堂提出分层采集架构，通过场内工厂化和场外众包化双轮驱动解决难题。
RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘
近年来，基于可验证奖励的强化学习（RLVR）成为提升大语言模型推理能力的重要路径，但许多经RL微调的模型出现‘越训越单一’问题。复旦大学等团队聚焦长期被忽视的KL散度项，提出DPH - RL方法，可缓解多样性坍塌。