「通信延迟」共找到 321 篇相关文章
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
Cursor 重新定义 Agent：脑子再大，不如会翻书。
Cursor 分享博客指出，Dynamic Context Discovery 效果远好于 long context 方式，开启动态上下文可使总 Token 消耗降 46.9%，还能减成本、降延迟、提准确率，但也存在成本转嫁、工程复杂度高和安全风险等问题。
狂涨 2W+ star，安卓终于“满血”用上！
AirPods在非苹果设备上功能受限，而开源项目LibrePods打破这一限制。它由16岁印度少年开发，逆向解析协议，让非苹果设备伪装成苹果设备与耳机通信，解锁多项高级功能，已支持安卓和Linux。
黄仁勋台上最强GPU炸场，台下感叹“中国芯片爆发”，瞄准6G投资诺基亚
英伟达发布会上，黄仁勋官宣新GPU Vera Rubin，还谈及中国芯片爆发，夸中国模型成果显著。此外，英伟达公布量子计算、6G通信等领域布局，与诺基亚合作入局6G并投资，不过各领域均面临竞争。
联手诺基亚入局6G，老黄要制定全球标准！GTC最新演讲揭秘：「美国科技的未来」就靠这6张王牌
老黄在华盛顿 GTC 大会演讲，英伟达要和诺基亚合作干 6G，重新构筑世界通信系统。演讲涉及 6 大核心，包括利用物理人工智能和数字孪生技术重塑美国工业化等，还介绍了加速计算、AI 变革等多方面内容。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
GPT-5刷屏吊胃口之际，英伟达发出暴论：小型语言模型才是未来
英伟达新论文指出，未来属于小型语言模型（SLM），挑战了智能体需用大型语言模型（LLM）的假设。SLM参数量低于100亿，有低延迟、低成本等优势，还给出从LLM到SLM迁移路线图。
Agent 框架协议“三部曲”：MCP、A2A、AG-UI
文章介绍Agent框架的三个主流协议。MCP解决AI Agent和外部工具交互问题，获三大巨头支持；A2A促进独立Agent间通信，但MAS系统不成熟致其未普及；AG-UI解决AI Agent与前端应用交互标准化问题。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。