搜索：大模型推理加速

「大模型推理加速」共找到 8385 篇相关文章

吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方

AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。

生成式世界模型用于机器人控制备受争议，因其推理延迟高。上海交通大学 ScaleLab 团队等联合发布 AHA - WAM，解决推理延迟和时空分辨率错配问题，在任务成功率和推理速度上领先，还需系统协同推进落地。

随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。

多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。

今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。

上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。

文章分享两个大模型API省钱技巧。一是文本转截图，适用于输入长输出短、费用花在输入token的任务；二是音频加速识别，OpenAI语音识别模型Whisper按音频时长收费，加速音频可省钱，还可包装成API服务盈利。

大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。

Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。

吉林大学、台湾大学和微软亚洲研究院联合提出MindPower Benchmark，构建以机器人为中心的ToM推理框架，统一建模环境感知、心智推理等，还构建数据集和评估指标。引入Mind - Reward强化优化，提升ToM决策与动作生成性能。