搜索：推理加速技术

「推理加速技术」共找到 4956 篇相关文章

对话上交大程远：AI的终局不在云端，而在“感算一体”的物理世界

文章围绕端侧 AI 展开，以上海交通大学程远研究为例，探讨其技术方向“感算一体”，还提及 Agentic AI 热潮，对比其与大模型热区别，阐述端侧与云端关系，及光计算等底层硬件创新对智能设备的影响。

Doc-V*由小米和华中科技大学团队提出，是多页文档理解新范式，通过交互式视觉推理让模型有策略地读长文档。它在多页文档问答基准上比RAG变体提升49.7%，不依赖大模型或长上下文窗口。

OpenAI推出GPT Image 2引发AI生图大战，国内厂商商汤反击，推出多模态理解生成模型SenseNova U1并全面开源。它通过自研架构实现理解、推理、生成统一，实测表现惊艳，能力全维度，与GPT-Image-2范式不同。

Lyft 实现 AI 驱动的本地化系统，加速应用与网页内容翻译。新系统结合大语言模型、自动评估与人工审核，将翻译周期从数天缩至分钟级，兼顾质量与适配性，还分批量和实时翻译架构处理不同场景。

视觉 - 语言 - 动作（VLA）模型“观测 - 生成 - 执行”串行模式致交互卡顿，清华与联想合作提出StreamingVLA框架，引入两项技术实现并行处理，在测试中显著提升效率和流畅度，为VLA模型部署提供新方案。

2026年油价飙涨，凸显石油化工对生活的影响，生物制造或成替代方案，AI正加速其进程。恩和科技创始人Cheryl与五源资本合伙人Ted对话，探讨SAION AI平台特性、行业竞争格局、核心技术及未来发展等问题。

Generalist创始人Pete Florence团队释出GEN-1技术博客，否定世界模型与VLA之争，强调具身智能应回归目标，主张从零训练。中国原力灵机DM0也采用具身原生路线，在RoboChallenge评测中成绩优异。

Google 一天内三个端侧 AI 项目爆发，包括离线听写 App Eloquent、端侧 AI 示例集 AI Edge Gallery 和端侧大模型推理运行时 LiteRT-LM。云端大模型竞争趋同，端侧 AI 是差异化战场，Google 全栈布局有优势。

著名AI技术作家Sebastian Raschka发布博客《现代LLM中注意力变体的可视化指南》，回顾近年开发并用于开放权重架构的注意力变体，包括多头、分组查询、多头潜在等注意力机制，还分析各机制特点、应用场景及优劣势。

AI智能体推理强但使用专业软件能力差，现有解决方案不佳。CLI - Anything自动化框架打破困境，能让AI通过命令行控制软件，为13款软件生成CLI，有7阶段流水线，多场景适用，介绍了使用方法和项目地址。