「推理场景」共找到 3768 篇相关文章
关于CUTLASS Grouped GEMM中Alignment参数的分析
文章围绕CUTLASS Grouped GEMM的Alignment参数展开。介绍其含义与自然对齐有关，既代表访问粒度也指明地址对齐要求。针对CUTLASS 2.x和3.x API分别阐述设置Alignment的方法及原理，还给出编译期推导代码示例。
谷歌开源结构化信息提取神器！4K+ Star，精准定位+交互式可视化！
在医疗、法律等领域，手动从非结构化文本提取信息费力，传统NLP工具需复杂训练。谷歌开源的LangExtract是高精度信息抽取Python库，能自动提取结构化信息，有精确源定位等功能，还给出使用示例和典型场景。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
大模型进入研发体系后，我们看到了这些变化
InfoQ《极客有约》X AICon 直播邀请同程、网易、百度工程师探讨大模型入研发体系的变化。指出其在提效、协作、分工上作用大，还分析了适用场景、工程师收益类型及核心竞争力等，也提及效率评估、代码生成等问题。
OpenAI深夜数连发：o3降价80%，o3-pro上线，奥特曼最后一次手发长文，开源模型却延期了……
OpenAI昨夜动作不断，o3模型降价80%，o3 - pro发布，开源模型延期。Sam Altman发长文《温和奇点》，预测AI发展时间线。o3价格虽降但使用成本仍有差异，o3 - pro性能强却推理慢，开源延期引发猜测。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。