「分布式推理系统」共找到 3593 篇相关文章
对话微分智飞高飞：看具身智能如何引发飞行认知革命 | GAIR 2025
雷峰网第八届GAIR大会邀请微分智飞高飞，探讨具身智能在飞行机器人领域应用。高飞指出其与传统无人机本质区别，介绍应用场景、分布式集群技术，还谈世界模型价值、挑战及创业契机，认为具身智能是历史拐点。
Nanbeige4.2-3B：探索通用Agent小模型
在模型越做越大的当下，推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B，在架构、数据构造和训练pipeline层面做了系统工作，评测表现良好，还探索本地个人助手等应用。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
在WAIC耳朵听出茧子的「智能体」，是时候系统学一下了
今年世界人工智能大会上，智能体成主角，AI厂商纷纷布局。文章指出人们对AI大模型期望转变，介绍智能体底层逻辑，涵盖工具使用、推理模型、ReAct框架等，还对比先前尝试，探讨智能体能力层次与未来发展。
GPT-5 不是技术新范式，是 OpenAI 加速产品化的战略拐点
文章从不同视角评价 GPT - 5，指出它是 ChatGPT 产品重要升级，是 Router 驱动系统。介绍其能力提升与短板，如 Vibe coding 性价比高但 Agentic 能力不足，还探讨了商业影响、价格战等，期待其 Agentic 能力发展。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
央企怎么做超级智能体？对谈中电信天翼AI：自研模型为底座，自主规划是必须，能适应千行百业才行
中国电信天翼AI发布星辰超级智能体，获2025企业级AI Agent榜单央企第一。它依托自研“星辰大模型”，具备全模态、复杂推理等能力。访谈专家指出智能体可直接产出应用，落地需嵌入主业系统，电信持续迭代模型优化它。
阿里云Tair KVCache仿真分析：高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。