「低延迟」共找到 1125 篇相关文章
从聊天窗口到多 Agent 控制台：一次 AI 编程协作范式的转移
作者分享了从单 Agent 协作到多 Agent 协作的编程范式转变。当前主流 AI 开发多为单 Agent 协作，效率低，作者设计了 Mexus 工具，解决多 Agent 协作、观测、Review 等问题，重塑人与 AI 协作关系。
实测美团 LongCat：快到极致，但是别说追平 DeepSeek
AI科技评论实测美团LongCat-Flash-Chat，它是中量级对话模型，主打“快”，几乎零延迟。但在推理、抗污染能力等测试中，相比DeepSeek-V3.1，逻辑链条松散，缺乏清晰判断。速度与逻辑哪个更重要，值得思考。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
通过逆向工程探秘 Claude Code 背后的运作机制
作者通过逆向工程研究Claude Code内部运作，了解其比Cursor等工具慢且贵的原因。Claude Code注重通用性和安全性，执行任务时多有安全检查，虽增加成本延迟，但更可靠，且在命令行工具中用户体验出色。
AI开始替人类调用AI！token用量已是人类5.2倍
据OpenRouter统计，截至8月10日，Agent类token用量半年涨14倍，人类仅2.8倍。差距源于用法差异，虽智能体部分token计价低，但用量大仍烧钱。省钱关键在配套，且智能体任务验收缺人手。
马斯克的「移动客厅」又火了：20人座无方向盘，每公里才3毛钱
前段时间旧金山大停电，Waymo无人驾驶出租车趴窝，特斯拉汽车不受影响。网友翻出特斯拉Robovan视频，马斯克称其将改变街道面貌。该车20人座无方向盘，运营成本低，预计2027年量产，此外马斯克身价破7000亿美元。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。
只有5%AI项目在挣钱！MIT最新报告印证奥特曼警告
MIT联合英伟达发布的AI商业分析报告显示，仅5%的AI项目能创造百万美元价值，其余在亏损。AI项目落地难，因工具与场景有差距，企业自研成功率低，投资也偏向前端职能。
仅需一个混频器的无线射频机器学习推理，登上Science Advances！
杜克大学和MIT教授团队提出广播模型并在射频上完成计算的分离式计算方案，在边缘端混频器模拟计算中完成推理，解决传统方案问题，还在测试平台验证，能耗低且能完成多项机器学习任务。