搜索：大模型推理加速

「大模型推理加速」共找到 8385 篇相关文章

首次！世界模型、动作模型融合，全自回归模型WorldVLA来了

阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。

从GPT - 4o开启全能交互时代后，Speech LLM面临“模态推理鸿沟”问题，输入从文本变语音，推理能力显著衰退。港中深与微软联合提出TARS框架，通过三项创新解决此问题，实验显示推理能力100%复原。

字节跳动Seed团队开源Seed-OSS系列36B模型，用12T tokens训练，采用Apache-2.0许可证。该模型能灵活控制推理预算，有两个基座版本，Instruct版在多方面表现强劲，性能碾压OpenAI开源模型。

文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。

Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。

文章探讨大模型是否到顶，指出‘到顶’争论分三个问题，靠堆大模型提升能力之路变平，受数据和成本约束。但大模型还有后训练和推理时计算两个发展方向，未来进步或来自更会用算力。

南洋理工大学团队提出MonoArt，将单目可动物体重建建模为渐进式结构推理过程，通过四个关键模块逐步推理，无需外部先验，在PartNet - Mobility基准测试中表现领先，兼顾推理效率，还可用于下游任务。

ACL 2025中选论文里，浙大与腾讯联合团队提出STA方法，深入模型内部分析神经元激活模式，干预关键神经元，抑制有害行为、保留通用性能，还在多模型实验验证效果，并将部分方法开源。

上海人工智能实验室与香港中文大学研究团队发布论文，用MathIF基准揭示大模型“聪明”和“听话”有矛盾，越擅长推理越易忽略指令，还分析了原因并给出让模型更“听话”的方法。

美团龙猫团队开源智能体推理模型LongCat - Flash - Thinking - 2601，总参数5600亿。该模型在多方面有卓越表现，团队通过构建数据、模拟环境、采用强化学习策略及设计高效架构等，使其比肩闭源模型。