「通信延迟」共找到 321 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
华为助力全球运营商以网为基，以智为翼，业网算协同创新，迈向Token经营新征程
在2026 MWC上海，华为以“业网算协同创新，共赢Byte+Token双增长”为主线，与全球运营商等共话行业发展。华为副董事长汪涛解读移动通信未来十年关键命题，展会发布多领域创新成果，还将携手运营商深耕多领域。
突破瓶颈，嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL，解决嵌入式AI持续学习难题。它优化记忆重放，有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少，成果将在2025年DAC大会展示。
OpenAI博通联手发芯片，黄仁勋还能保持松弛吗？
OpenAI与博通联手发布自研推理芯片Jalapeño，英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐，OpenAI和Anthropic也正脱离英伟达管控，博通靠“芯片自主权外包”模式上位。
音频全能王炸！小米MiMo-Audio开源，力压Gemini/GPT-4o！
小米团队开源通用音频大模型MiMo-Audio，集多种功能于一身，支持7国语言零样本克隆和中英混合合成。首包延迟低，效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
豆包19亿次互动背后的技术真相：春晚级体验是如何炼成的？
2026 年春晚 AI 元素亮眼，豆包 AI 互动达 19 亿次。火山引擎作为独家 AI 云合作伙伴，用智能视频云等技术打造节目效果，解决视频画质、空间逻辑、机器人互动延迟等难题，还保障全民互动和实时字幕。
科幻！谷歌放出Gemini Robotics-ER 1.5：机器人有了真正的思考力
谷歌推出首个广泛开放给开发者的机器人具身推理模型Gemini Robotics - ER 1.5，可作为机器人高级推理大脑。它能解决物理问题，有新能力如快速空间推理等，还能让开发者平衡延迟与准确性。
一文彻底看懂AI-RAN
文章介绍AI - RAN，即人工智能无线接入网，英伟达力推将GPU用于基站。AI - RAN有开拓市场、提升基站性能等作用。产业进展方面，英伟达联合多方推动，通信行业形成加入和自主探索阵营，其发展还面临诸多挑战。
互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。