「LLM推理」共找到 2759 篇相关文章
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
不训练，解锁Agentic智能！微软：只需给LLM一台电脑
人大、MSR、清华的LLM - in - Sandbox开启「通用代理智能」新范式，把大模型放进“虚拟机”，让其在6大任务上成绩全线暴涨，零额外训练解锁“通用代理智能”，还介绍了相关实验、优化及效率情况。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
LLM 驱动的 AI Agent通信：协议、安全风险与防御对策
论文围绕智能体通信的协议、安全风险及防御对策展开探讨。介绍兴起与重要性、定义分类、解析多种协议，分析不同交互的安全风险，提出防御对策，还以MCP和A2A为例做攻击实验，给出未来研究方向。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
Unsloth-MLX：在Mac上微调LLM，代码无缝迁移到云端GPU
对于Mac用户，在原型实验阶段反复租云端GPU是资源浪费。开发者推出Unsloth - MLX，基于MLX框架，让Mac用户本地高效微调大模型，改一行导入语句就能无缝迁移代码到云端，还介绍项目特点、状态等。
苹果再发论文：精准定位LLM幻觉，GPT-5、o3都办不到
近日苹果发布重磅论文，提出 RL4HS 方法，用强化学习训练模型，能准确标出答案中幻觉部分，还使用片段级奖励和类别感知的 GRPO，在片段级幻觉检测任务上超 GPT - 5 和 o3。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。