搜索：推理加速技术

「推理加速技术」共找到 4890 篇相关文章

ACL 2026｜打破推理同质化！阿里达摩院新作让RLVR从重复采样走向有效探索

阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO，改进rollout策略，在关键节点生成更具区分度的推理轨迹，结合信息瓶颈自奖励机制，在多个数学基准上提升准确率与语义多样性。

昆仑万维CEO方汉认为，AI泡沫是必经阶段，产品价值落地成主线，生态是系统工程。今年两类公司突围，四类公司落后。2026年技术赛点是Agent自动化‘可验证过程’。

NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。

疑似GPT - 5发布预告刚出，内测体验抢先释出。网友实测其推理能力首超人类，编程、数学等能力也出色，虽提升或没GPT - 3到GPT - 4明显，但市场竞争激烈，8月8日凌晨OpenAI发布或为GPT - 5。

清华、生数科技与伯克利联手用TurboDiffusion解开视频扩散模型速度枷锁。它改造注意力机制、引入步数蒸馏和量化策略，在多模型测试中加速100 - 205倍，且画质几乎无损。

传统高效微调技术成大规模部署瓶颈，论文提出Drag-and-Drop LLMs (DnD)，仅需输入目标任务未标注提示，即可秒级生成适配的LoRA权重，实现LLM秒级免训练适配，效率、性能和泛化性上均有突破。

大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。

小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。

AI时代，系统能感知用户场景与需求，主动推送服务。鸿蒙元服务解决用户体验痛点，其技术底座帮开发者“减负”。如京东复用代码，深圳万象城优化停车服务，还为中小商户提供零代码开发方案。

BIGAI与中科大等团队提出MILR，通过测试时隐空间推理，在不更新模型参数下优化图文表示，提升复杂图像生成能力。该方法在多基准测试达SOTA，还探讨了测试时扩展与奖励模型，未来有诸多拓展方向。