「分布式推理系统」共找到 3593 篇相关文章
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
一键实现PPT演讲自由！「解说音频+视频」同步生成，效果逼近真人
澳大利亚与英国研究人员提出文档到演示视频生成任务，推出PresentAgent系统。它能将长文档转为带语音和同步幻灯片的视频，流程可控且适应多领域。实验显示其生成视频接近人类表现，还设计了双路径评估策略。
字节发了个机器人全能大模型，带队人李航
字节推出Seed，其Robix视觉—语言单模型能搞定机器人推理、任务规划和自然语言交互，核心采用思维链推理和三阶段训练策略，效果超Qwen2.5 - VL、GPT - 4o等，负责人是李航。
中国团队让AI拥有「视觉想象力」，像人类一样脑补画面来思考
上海交通大学等团队提出 Thinking with Generated Images，让大模型像人类一样用「脑内图像」推理。该研究区分三种视觉思维模式，提出核心技术框架，解决视觉推理局限，实验效果好，未来有望在多领域突破。
DeepSeek点燃大模型效率之争，阶跃火速接棒：JetSpec让大模型解码速度最高提升近10倍
近期，DeepSeek发布DSpark，阶跃星辰发表JetSpec论文，二者聚焦大模型推理效率。DSpark关注验证效率，JetSpec从Draft生成本身入手。结果显示，二者都有加速效果，共同表明推理效率正成Agent落地关键变量。
nndeploy：一款基于可视化工作流的AI部署工具
nndeploy是简单易用且高性能的AI部署框架，可将推理优化转化为可视化工作流，无需前端技术栈。它还提供端侧完整AI部署方案，有多端推理等功能，介绍了使用方法与技术原理。
Gemini进手机，Android翻身；Gemini进电脑，全网开喷！
谷歌在端侧AI大力尝试，在Android Show I/O Edition发布围绕Gemini Intelligence的新产品与功能，让AI进入系统基础体验。手机端Create My Widget功能亮眼，而Googlebook引发争议。同时苹果iOS 27也有Siri改造新消息。
刚刚，OpenAI在ICPC 2025编程赛上满分登顶，Gemini也达到金牌水平
在ICPC 2025编程赛上，OpenAI 5小时内解决12个问题满分登顶，其由通用推理模型集成体构成，结合GPT - 5与实验性模型；Gemini解决10个问题达金牌水平，在部分难题表现出色。
SGLang｜SGLang Diffusion
来自SGLang开源社区的Yichi介绍SGLang Diffusion，它是面向图像与视频生成的全开源扩散模型推理引擎。基于SGLang机制将能力迁移到扩散模型推理，能显著提速工作流，视频展示了多种功能。
DESIGN.md：又一个你必须知道的Markdown文件
Google Stitch推出DESIGN.md，这是一个纯文本设计系统文档，放项目根目录，AI助手能直接读取生成一致UI。它含基础设计规范，有9个核心部分。还有现成设计系统库，HyperDesign可自动生成该文件。