搜索：多模型推理 - AI Reading Hub

「多模型推理」共找到 9950 篇相关文章

静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代

文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。

Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。

长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。

邢波教授新作《智能体模型批评》上线 arXiv，质疑当下被称为「智能体」的系统是否名副其实。论文将其分为两类，沿五维度拆解主流设计，提出 GIC 架构，还探讨了安全问题，指出要让能力内化进模型。

边缘 - 云协同计算整合边缘节点和云端资源，解决传统云计算问题。最新综述论文系统梳理其架构设计、模型优化等方面，提出统一框架，还指明未来研究方向，如大语言模型部署、6G整合等。

大语言模型发展下，多智能体系统开发面临诸多难题。阿里通义实验室开源AgentScope 1.0框架，以开发者为核心，有三层解耦架构，模块化设计，还解决安全和管理问题，在工程化特性上优势明显。

加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身，从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法，及推理、训练的实现。

国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》立项，正征集起草单位和起草人。该标准全流程覆盖、多方面融合、三方协作，能解决企业部署痛点，构建安全可信生态。

腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。

南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。