「低延迟推理」共找到 2941 篇相关文章
评论送书 | Al智能体与传统AI应用的区别？它如何工作？如何快速构建智能体？
文章对比AI智能体与传统AI应用，指出前者更像“乐高积木”，可融入生活工作。介绍其工作是“感知—推理—执行—学习”循环，还给出快速构建通用方法，如明确目标、选框架等。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
刚刚，智谱推出全球首个手机通用Agent，人人可用
智谱发布新版AutoGLM，是全球首个手机通用Agent。它为用户配备云端手机，能在不影响用户操作的前提下完成各类任务，还在技术上有重大突破，成本更低，代表全新互联网流量。
市场那么大，国产射频为何要内卷？
国产射频行业内卷严重，几乎无盈利企业，全球市场份额低。问题出在同质化厂商多、高估国内市场、缺国际视野人才、少耐心资本、专利壁垒及螃蟹效应等方面，还需有序竞争破局。
华为版《黑客帝国》首次亮相：训推复杂AI前先“彩排”，小时级预演万卡集群
华为首次亮相数字化风洞虚拟环境平台，可在训推复杂AI模型前“彩排”，小时级预演万卡集群。其包含Sim2Train、Sim2Infer、Sim2Availability，分别解决训练、推理、高可用问题。
爆冷！字节Seed 在CCPC 决赛只做出一道签到题，而DeepSeek R1 直接挂零？
第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，结果意外，仅做出一题，DeepSeek R1 挂零。不同模型架构表现差异不大，暴露出大模型做算法题短板，推理模式表现更好。
AI让全人类思维越来越雷同！南加大研究实锤：认知多样性正在被抹平
南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。
一个APP就能拍短片！人物、字幕、BGM……AI Agent统统自己搞定
剪映旗下内容创作Agent小云雀上线新功能，可文生数字人，还能根据提示词生成视频。它有“参考图生视频”玩法，能解决图片混剪难题。依托字节模型，创作门槛低，交付质量高，限时免费。
阿里发布信息检索Agent，可自主上网查资料，GAIA基准超越GPT-4o | 模型&数据开源
阿里发布WebDancer信息检索Agent，能自主上网查资料。它具备多步推理等能力，采用四阶段训练范式，模型和方法已开源。在多个基准测试中表现优异，突显处理复杂任务的鲁棒性和有效性。
DeepSeek研究员1200行代码复刻vLLM，H800硬件实测性能反超原版
DeepSeek研究员俞星凯搞出开源项目Nano - vLLM，仅用不到1200行代码实现最小化且完全可读的vLLM。它有快速离线推理、代码可读性强、含优化套件等特点，在H800硬件实测中性能反超原版vLLM。