「层级并行解码」共找到 369 篇相关文章
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
MoE推理「王炸」组合：昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。
腾讯助力Deepseek完善DeepEP,RoCE提升100%，InfiniBand提升30%
Deepseek团队合并腾讯提交的代码完善DeepEP，称有巨大速度提升，RoCE提升100%，InfiniBand提升30%。DeepEP是为混合专家模型和专家并行设计的通信库，有多项创新特性，适合现代AI应用。
在校生开发，榨干 win 系统全部带宽！
介绍在校生开发的开源工具 HypoMux，它面向 Windows，能把多张网卡「绑」在一起，让下载任务多线路并行。有双模式可选，还能智能分流，兼容主流加速器。操作简便，可解决下载慢问题。
这个 skills 太硬核了，刚开源就斩获 1.7K Star！Agent 联网能力拉满！
AI开发者圈热议让AI助手真正“上网”，Claude Code原工具局限性大。web - access skill横空出世，从底层架构重新设计，解决其三大短板，让Claude Code可自由穿梭互联网，功能强大且安装使用方便。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估，得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异，还指出工具使用瓶颈等问题，且开发预测模型辅助架构选择。
我用 AI 翻译的三个阶段：提示词时代 → 推理模型时代 → Agent 时代
作者分享近 2 年 AI 翻译经验，将其分为提示词、推理模型、Agent 三个时代，介绍 Agent 翻译与提示词翻译区别，还阐述 Skill 创建迭代、三种翻译模式由来等，给出解决一致性问题等方法。
谷歌突砍Gemini免费版炸锅，数据养模遭背刺？GPT-5.2突袭Gemini 3，Demis Hassabis：谷歌须占最强位
近日谷歌收紧Gemini API免费层级限制，引发开发者不满。与此同时，OpenAI计划提前发布GPT - 5.2应战。Google DeepMind CEO Demis Hassabis表示谷歌要占最强位，对Gemini 3满意，还介绍了谷歌未来三个发力方向。
刚刚，OpenAI发长文：找到缓解LLM撒谎的方法！
Google发布Gemini 3 Deep Think，ARC - AGI - 2准确率高且采用并行推理技术。OpenAI发长文《通过忏悔训练大型语言模型诚实性》，介绍缓解LLM撒谎的忏悔训练法、实验结果等，也指出其局限。
AI跌价900倍，连一瓶矿泉水都比它贵！
过去一年，AI模型价格暴跌，不同层级降价差异大，如GPT - 3.5费用降280倍。但人们使用更频繁，引发AI版杰文斯悖论。同时人工变贵，且AI降价使权力更集中，引发价值重组。