「推理硬件」共找到 2489 篇相关文章
“Linux真正的活不是我在干”，Linus爆料近况：近20年不做程序员、没碰过AI编程、压力全来自于“人”
本文是Linux之父Linus Torvalds在开源峰会上的对谈内容。他称近20年不再是程序员，更多是维护者；谈到AI对编程影响，认为它是工具不会让程序员消失；还提及Rust引入、硬件发展及自己做吉他踏板的爱好。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
小扎新AI，凉得彻底？
9月25日，Meta推出嵌入Meta AI应用的AI视频流Vibes，可浏览、二创和分享AI视频，改写短视频玩法。它降低创作门槛，融入Meta生态，野心勃勃，但也带来版权等争议，还将与硬件结合，AI视频或成新全民入口。
医疗幻觉率比DeepSeek低3倍，百川循证增强大模型横扫全球医学考试！
百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。
实证：现在的LLM根本不会Reasoning！
论文指出当前大推理模型（LRM）如DeepSeek - R1等可能只是在表演“思考秀”，遇到复杂问题就崩溃。研究者用4个可控谜题测试，有三大颠覆发现，还揭示思考过程的荒诞现象，直指行业痛点并给出发展方向。
清华推出AI数学家！独立完成数学理论难题，自动调用基本定理、构建证明思路
清华团队推出AI Mathematician（AIM）框架，可将LRMs推理能力延伸至前沿数学研究。它由三大模块驱动，有两大核心策略。实验显示其能解决多个挑战性问题，虽有不足，但未来有望成数学研究核心驱动力。
新DeepSeek R1代码能力直逼Claude 4！附生成任何优质网站的通用提示词
作者体验DeepSeek R1超8小时，发现其文本写作问题大幅修复，思维链推理改进，代码能力提升，前端审美直逼Claude 4。文章展示其前端能力，给出写前端网页提示词及设计逻辑，还探讨了其在复杂任务中的表现。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。