低延迟」共找到 1125 篇相关文章

开源动态8

Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×

Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。

CourseAI
产品应用7

谷歌又赢了,nano banana「被迫」改名后,网友搞出7种神仙玩法

谷歌神秘图像编辑模型 nano banana 改名后仍热度高,与竞品相比生成速度快、成本、能力强。已在 Gemini 应用和 Google AI Studio 上线,网友开发出制作等距模型、标注现实世界等7种玩法。

机器之心
算法论文8

Meta提出Deep Think with Confidence:几乎啥都不用动,就能提升推理的准确性与效率

传统自一致性方法虽能提升推理准确率,但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence(DeepConf),可在不增训练成本和不调超参数下,提升推理准确性与效率,本文对其全面解读。

深度学习自然语言处理
算法论文7

无需准确传感信号!轻松搞定「多段软体机械臂」复杂位姿与形状控制

研究人员提出利用双向循环神经网络(biLSTM)的MSCA规划与控制策略,即便用不准确内部传感信号也能完成任务。实验显示该方法在多任务中表现优异,未来还将做进一步研究。

新智元
算法论文7

少说‘Wait’,多做题:NoWait重塑大模型推理路径

现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。

深度学习自然语言处理
产品应用8

谷歌Gemini 2.5全线爆发!勇战「濒死恐慌」,却被丝血宝可梦吓到当场宕机

谷歌旗舰Gemini 2.5全家桶三款模型昨夜上线,包括正式版2.5 Pro、2.5 Flash及预览版2.5 Flash - Lite。技术报告显示其性能提升显著,还在玩宝可梦时惊现类人恐慌,推理性能下降。

新智元
7

ASML,一夜崩盘?

全球光刻机霸主ASML市值十个月蒸发超1300亿美元,原因有财报提前泄露、销售预期下调,还受美国出口管制、客户冷遇等影响。同时介绍其核心业务、市场地位,也提及中国光刻机自主研发进展与挑战。

芯师爷
算法论文8

港科联合港中文提出AdaCtrl,自适应可控Reasoning,可降10~90%

港科联合港中文提出AdaCtrl,解决LLM推理的过度思考、算力浪费和响应延迟问题。它有自适应和用户控制两种模式,通过两阶段训练法实现目标,实验效果好,未来或拓展到多领域。

深度学习自然语言处理
新闻资讯7

营收造假、虚假宣传,10年AI平台申请破产

英国代码AI开发平台Builder.ai因营收造假申请破产保护。此前其收入预估大幅缩水,且早有宣传与实际不符问题。回顾其发展,多次融资却因财务问题、管理不善等走向破产。

AIGC开放社区
产品应用8

DeepSeek睁开眼了!Opus-4.8的性能,1000张图不到20美分

DeepSeek首个多模态视觉模型deepseek-v4-flash-vision-exp上线DeepSeek API平台。文本能力与V4-Flash持平,多模态Agent能力逼近Opus-4.8,分析1000张图成本不到20美分,还上线免费Files API。

AIGC开放社区