「推理优化与部署」共找到 3516 篇相关文章
大模型年中报告：Anthropic 市场份额超 OpenAI，开源模型企业采用率下降
本文基于年中报告指出，当前模型API支出翻倍，企业重心转向模型推理。Anthropic市场份额超OpenAI，开源模型企业采用率下降。代码生成成热门场景，企业换模型重性能，AI支出从训练转推理。
【博客转载】Row-Major VS Column-Major
文章探讨行主序和列主序存储多维数组的差异，以及对矩阵乘法性能的影响。指出不同存储顺序组合下矩阵乘法的偏好，还通过C++单线程实现和cuBLAS库验证分析，表明优化可减少性能差距。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
感知错误率降低30.5%：隐式感知损失让模型主动“睁大眼睛” | UIUC＆阿里通义
伊利诺伊大学香槟分校与阿里通义实验室推出多模态推理强化学习算法PAPO。它用隐式感知损失设计，解决感知与推理脱节问题，在多基准测试中表现优，但有KL_prcp Hacking现象。
芯片巨头终于等来“泼天机遇”
2025年10月6日，AMD与OpenAI官宣6吉瓦GPU算力部署战略合作，有望带来数百亿美元收入。合作通过“算力部署+股权绑定”将双方利益捆绑，对AMD意义重大，但也面临技术、市场、成本等考验。
舍弃自回归，离散扩散语言模型如何演化？NUS综述解构技术图谱与应用前沿
本文介绍新加坡国立大学xML团队的论文，梳理离散扩散方向研究图谱，对比自回归局限与离散扩散优势，阐述数理基础、模型生态、训练与推理技术，还提及应用及未来方向，显示其对自回归范式的替代潜力。
7B打败o3、GPT-5！医学AI智能体让模型学会“看哪里、怎么看”
上海创智学院LeapQuest团队联合多校，在ICML 2026接收两篇论文，提出“Think with Images/Think with Videos”范式，让视觉证据参与模型推理，Ophiuchus和MedScope分别用于图像和视频诊断，表现出色。
JustGRPO：扩散语言模型的极简主义回归
本文提出回归极简的方法 JustGRPO，在 RL 阶段让模型自回归生成，用标准 GRPO 训练，能超越各类针对 dLLM 设计的 RL 算法表现，提升推理表现同时保留并行解码能力。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
CVPR 2026 | 还在为AI「鬼画符」发愁？TextPecker即插即用破解文字渲染难题
在生成式AI浪潮中，视觉文本渲染仍是未攻克的核心难题。华中科技大学白翔教授团队等提出TextPecker，是基于结构感知的即插即用型强化学习优化策略，可适配主流生成器，提升视觉文本渲染性能，已被CVPR 2026接收。