「通信延迟」共找到 307 篇相关文章
微调已死？Agentic上下文工程登场，无需微调实现模型进化
斯坦福大学等团队提出 Agentic Context Engineering 技术，让语言模型无需微调自我提升。它将上下文视为作战手册，引入三种协作角色与三项创新，实验显示其在两类任务上表现优异，成本和延迟显著下降。
重复一下提示词，Gemini准确率竟从21%飙升至97%！
Google Research团队研究发现，重复提示词可让Gemini准确率从21.33%升至97.33%。该策略能提升主流大模型非推理任务表现，在多模型多基准测试中优势明显，且不增加延迟。
实测美团 LongCat：快到极致，但是别说追平 DeepSeek
AI科技评论实测美团LongCat-Flash-Chat，它是中量级对话模型，主打“快”，几乎零延迟。但在推理、抗污染能力等测试中，相比DeepSeek-V3.1，逻辑链条松散，缺乏清晰判断。速度与逻辑哪个更重要，值得思考。
通过逆向工程探秘 Claude Code 背后的运作机制
作者通过逆向工程研究Claude Code内部运作，了解其比Cursor等工具慢且贵的原因。Claude Code注重通用性和安全性，执行任务时多有安全检查，虽增加成本延迟，但更可靠，且在命令行工具中用户体验出色。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
华为助力全球运营商以网为基，以智为翼，业网算协同创新，迈向Token经营新征程
在2026 MWC上海，华为以“业网算协同创新，共赢Byte+Token双增长”为主线，与全球运营商等共话行业发展。华为副董事长汪涛解读移动通信未来十年关键命题，展会发布多领域创新成果，还将携手运营商深耕多领域。
突破瓶颈，嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL，解决嵌入式AI持续学习难题。它优化记忆重放，有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少，成果将在2025年DAC大会展示。
OpenAI博通联手发芯片，黄仁勋还能保持松弛吗？
OpenAI与博通联手发布自研推理芯片Jalapeño，英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐，OpenAI和Anthropic也正脱离英伟达管控，博通靠“芯片自主权外包”模式上位。
音频全能王炸！小米MiMo-Audio开源，力压Gemini/GPT-4o！
小米团队开源通用音频大模型MiMo-Audio，集多种功能于一身，支持7国语言零样本克隆和中英混合合成。首包延迟低，效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。