「低延迟推理」共找到 2941 篇相关文章
Soul App 又又又开源了！这次是实时交互数字人，支持小时级长视频甚至无限时长！
Soul App 新开源实时数字人项目 SoulX-LiveAct，解决 AR 扩散模型流式生成稳定性问题。它实现 20 FPS 实时流式推理，延迟 0.94 秒，支持无限时长，有恒定显存等亮点，可用于多场景。
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
一夜200万阅读，OpenAI神同步！这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文，一夜阅读近200万，同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE，发现主流大模型在科学发现上短板明显。
如何选择合适的 Diskless Kafka
随着企业将 Kafka 迁移至云原生架构，Diskless Kafka 成趋势。本文剖析其兴起原因，重点探讨开源的 AutoMQ 方案，还对比基于 Leader 与无 Leader 两种架构在多维度的差异，助您选合适 Kafka 方案。
大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
隐私优先的本地匿名化小模型：在数据离开设备前保护个人信息
最强 AI 模型在云端，安全数据在本地，这一矛盾困扰着想用 AI 处理敏感信息的人。Freysa 团队提出解法，不重写提示，只替换敏感信息，用小模型实现精准匿名化，有实用价值。
DDR4持续涨价，DDR5成为新的性比价之王？
近期DDR4价格持续上涨，其告别性价比，原因是存储巨头战略转移。而DDR5性能强、功耗低，实测表现优，价格也有优势，已成为新的“性价比之王”，替代DDR4是大势所趋。
A社旗舰Fable 5卖不动了。。两款神秘新模型已现身
支付平台Ramp统计显示，A社旗舰Fable 5上线两月销量不佳，收入仅占整体的11.4%。其价格高、性价比低，拖累公司收入未达预期。同时，X上出现Claude的两个神秘内测代号，或几周内上线。
TACO: 让 CLI Agent 在自主迭代中学会丢掉无用上下文
由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。