「低延迟推理」共找到 2938 篇相关文章
4倍无损压缩Diffusion，6倍加速！仅需时间特征维护 | TPAMI'25
扩散模型时间特征对量化敏感，现有量化方法会致其扰动，影响图像质量。港科大等多校团队提出TFMQ - DM框架，优化时间特征相关模块，提升低比特量化性能，实现硬件加速。
《生化危机》女主演跨界AI拿SOTA了！打造免费“AI记忆系统”爆火GitHub
《生化危机》女主角Milla Jovovich与程序员老友及Claude合作，打造开源免费的AI记忆系统MemPalace。该系统在多项测试中成绩优异，采用“记忆宫殿法”，检索效率提升34%，还设计了AAAK语言，成本低且精度高。
7300 人收藏的 PraisonAI，5 行代码即可部署 24 小时 AI 智能体团队！
PraisonAI是开发者Mervin Praison开源的全功能多智能体运行框架，有7.3K+ GitHub星标。它开发门槛低，支持100+大模型，具备完整智能体能力，还能可视化编排、一键接入聊天平台。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
刚刚，DeepSeek全新多模态技术开源！
DeepSeek联合北大、清华开源多模态技术及论文，提出“视觉基元推理”框架，解决MLLM指代鸿沟问题。基于DeepSeek - V4 - Flash构建的模型，性能比肩GPT - 5.4等。论文还介绍架构、训练流程等。
LinkedIn 重构服务发现：在大规模环境中用 Kafka 和 xDS 取代 Zookeeper
LinkedIn 工程博客中，Bohan Yang 介绍升级基于 ZooKeeper 的传统服务发现平台项目。因传统系统有扩展性问题，团队开发新架构，分离读写路径，实施双读双写机制，迁移后数据传播延迟显著改善。
刚刚，DeepSeek官宣V3.1发布，Agent 能力较大提升
DeepSeek官宣V3.1发布，核心特性有混合推理架构、思考效率提升、Agent能力增强。产品形态含官方App/网页端和API升级。性能在编程、搜索智能体及思考效率上显著提升。
还在花钱转语音？10,000+ star 开源「ebook2audiobook」白嫖1107种语言！免费文字秒变多语言音频！
`ebook2audiobook` 是由 Drew Thomasson 主导、13k+ Stars 的开源工具，能将电子书无缝转换为有声书，支持 1107+ 语言，有章节拆分、多 TTS 引擎支持等功能，低门槛部署，适合多场景。