「Triton推理服务器」共找到 2178 篇相关文章
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
为AI打造的知识图谱服务器MemoryMesh
MemoryMesh是专为AI模型设计的知识图谱服务器，适用于多种结构化数据场景。它有动态模式驱动工具等特性，可自动生成管理工具，还配备记忆查看器，提供安装指南和提示词建议。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障，从8月底起，集团amd turind机器业务cpi和cpu利用率飙升，影响业务性能。经排查是split lock问题，由python解释器调用__libc_free时出错引发，还分析了问题原因、传导路径，并给出应对措施。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。
谷歌揭秘：Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX，指出Multi - Agent是推理时扩展的最佳方式，以低成本大幅提升准确率。实验表明Agent多样性优于重复采样，还展示TUMIX机制、实战表现，且LLM能设计更强Agent。
海光整并曙光后，是否会放弃服务器？
5月25日晚，海光信息将合并曙光信息的公告引发关注。二者关系密切且在产业链位置特殊。海光发展势头好，吸并或为提升系统能力。对于曙光是否放弃服务器业务有不同看法，整合还可能冲击华为。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。