两阶段流程」共找到 2009 篇相关文章

算法论文8

跨层压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收,提出高效推理框架,用截断矩阵熵解释 LLM 稀疏化,据此设计 UNCOMP 框架,通过压缩隐藏状态优化 KV Cache,实现计算与内存联合优化,实验效果显著。

机器之心
新闻资讯7

GAIR Live 预告|智能始于记忆,AgentMemory 的技术演化过程

在人工智能走向智能体阶段,‘记忆’成焦点。如今大模型‘记不住’上下文,‘从Human Memory到Agent Memory’跃迁是迈向具身智慧关键。GAIR Live将邀专家探讨记忆技术逻辑与路径。

AI科技评论
新闻资讯7

马斯克造星链,劈柴造算链!英伟达卷到宇宙,谷歌也要上天

谷歌官宣「Project Suncatcher」,要在太空建设可扩展的AI计算系统,预计2027年发射颗原型卫星。此系统利用太阳能驱动AI,由卫星星座构成,但面临打造星间链路、控制卫星编队等挑战。

新智元
产品应用8

大涨240%,Doc-Researcher确立多模态文档深度研究新范式

在ChatGPT引领的AI革命中,大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案,构建M4DocBench评测,性能远超现有方案,还适用于多产业场景。

PaperAgent
新闻资讯7

a16z将3000万开发者标价3万亿,等于法国GDP!网友:几个初创公司+大模型就想取代我们,疯了吧?

顶级风投 a16z 合伙人将全球开发者群体价值量化为 3 万亿美元,与法国 GDP 划等号,描绘 AI 编程颠覆生产关系的资本盛景,引发网友质疑,还探讨了 AI 编程多方面影响及初创机会。

InfoQ
开源动态8

深度拆解,硬核解构,揭开vLLM推理系统实现高效吞吐的秘籍

文章深度拆解 vLLM 推理系统,介绍其核心组件和高级特性,包括推理引擎流程、调度机制、高级功能等,还提及系统扩展、分布式部署、性能测量等内容,助力读者理解推理引擎工作原理。

机器之心
开源动态7

GitHub MCP 注册中心提供了一个发现和部署 MCP 服务器的中心枢纽

GitHub 推出 MCP 注册中心,旨在帮开发者发现和使用 AI 工具,简化 AI agent 连外部工具的过程。它列出 40 多个 MCP 服务器,还展示受欢迎程度。此外,Docker、Postman 等也有相关目录。

InfoQ
开源动态7

谷歌 Java 代理开发工具包新增 LangChain4j 集成

谷歌 Java 代理开发工具包(ADK)0.2.0 版本集成了 LangChain4j,显著扩展功能,让开发者能使用更多模型。谷歌开发者 Guillaume Laforge 解释其优势,ADK 还引入系列增强提升性能。

InfoQ
新闻资讯7

刚刚,奥特曼亲赴,韩国「举国」投靠!

奥特曼飞赴首尔与韩国总统、大财阀巨头会晤,三星、SK与OpenAI达成战略合作伙伴关系,将增加先进存储芯片供应、扩大数据中心容量,助力韩国AI发展,也加速Stargate计划落地。

新智元
新闻资讯8

刚刚,英伟达官宣向OpenAI投资1000亿美元!用至少400万GPU打造超级AI巨兽

芯片巨头英伟达与AI巨头OpenAI官宣「联手」,将建立战略合作伙伴关系。英伟达将投资1000亿美元帮OpenAI建10吉瓦AI数据中心,含数百万块GPU,首阶段系统2026年下半年运营。

机器之心