「毫秒级响应」共找到 1027 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
Genie 3，让幻觉持续成为现实
Google最新发布的Genie 3能从文本生成交互式世界，实现24fps实时交互，分钟级一致性，720p分辨率。它取长补短，有出色记忆能力，物理表现自然，还能让智能体完成任务。不过目前是有限预览，有不足。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。
刚刚，新版DeepSeek-R1正式开源！直逼o3编程强到离谱，一手实测来了
临近端午假期，新版DeepSeek - R1凌晨正式开源，模型权重已上传到HuggingFace。其性能几乎与o4 - mini（Medium）相当，编程实测超越Claude 4 Sonnet。有多项更新亮点，经实测性能获“史诗级”加强。
狂揽20.2k星！还在傻傻的写SQL吗，那你就完了！这款开源项目，让数据分析像聊天一样简单？再见吧SQL
开源项目PandasAI让数据分析像聊天一样简单，由Sinaptik AI团队打造，将ChatGPT级自然语言处理能力注入Pandas。它有对话式分析、智能图表生成等亮点，适用于多场景，还给出使用步骤及与同类工具对比。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
YC 开源自家 Harness，3 天斩获 3.9k Star，QM 如何划清 Agent 的权限边界
YC开源的QM项目上线3天获3.9k GitHub Star，定位企业级Agent Harness，解决AI规模化落地管理难题。它补齐企业团队刚需能力，设计贴合企业规则，解决隔离与协作、权限管理问题，顺应行业从拼模型到搭骨架的转变。
融资数亿元，我们和贝塔无限刘武龙聊了聊具身系统创新
AI科技评论对话贝塔无限刘武龙，探讨具身智能。刘武龙有丰富华为履历，其团队获数亿融资。他分析技术路线分歧，提出具身大脑定义，还谈数据采集、产品切入与商业化等，认为系统工程团队有望胜出。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。