「训练推理协同」共找到 3854 篇相关文章
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Meta「透视」AI思维链：CRV推理诊断，准确率达 92%！
Meta FAIR团队在论文中提出CRV方法，可实时观察AI思维过程。它通过改造模型大脑结构，让推理可见。在算术推理实验中，检测精度提升到92.47%，还能让模型修正错误。不过该技术落地尚面临诸多挑战。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。
北大联合Llama-Factory推出DataFlex：工业级数据动态训练系统
北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施，纳入三类核心能力，解决底层系统问题，在效率和效果上有提升，受社区认可。
自定义轨迹驱动AI视频生成，ATI无需训练适配多种生成模型
字节提出视频生成运动控制统一框架ATI，通过轻量级运动注入器将用户定义轨迹投影至预训练图像 - 视频生成模型潜在空间，实现协调控制。用户指定关键点及路径控制运动，无需重新训练，适配不同架构。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。
多模态卷王阶跃星辰Step 3登场，推理效率可达DeepSeek-R1 300%
新一代多模态推理基模Step 3登场，它采用原创MFA架构，具“多开好省”亮点，推理效率高、性价比优。7月31日将开源，能适配各芯片，还发起“模芯生态创新联盟”推动应用落地。
推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。
大模型如何准确读懂图表？微软亚研院教它“看、动手、推理”
多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。