「LLM Inference」共找到 974 篇相关文章
智能体崛起，AI+软件研发到新拐点了？
InfoQ《极客有约》X AICon 直播邀请多位嘉宾探讨 LLM 时代软件研发新范式。指出 AI 在测试中多为提效工具，距“原生开发时代”尚远；Coding Agent 潜力大；还谈及 AI 应用场景、落地问题、人员能力要求等。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
华为超树HTP：不写示例、不调PDDL，AI规划约束通过率飙升62.6%
文章介绍华为超树HTP，它是完全自主、可泛化的推理新范式。能让LLM在超树结构上完成规划，不依赖人工示例和外部规划器，在复杂规划benchmark上实现SOTA准确率并降低token成本，还阐述其原理、创新点及应用实例。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
比人类专家快2倍，斯坦福联合英伟达发布TTT-Discover：用「测试时强化学习」攻克科学难题
斯坦福与英伟达等机构联合提出 TTT - Discover 方法，让 LLM 在测试时强化学习。它在多任务上成绩出色，如在数学、GPU 内核等领域超越人类和其他 AI，计算成本低，或为持续学习打开新空间。
RAG 进化之路（祛魅 Agentic RAG）：传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG
文章旨在祛魅 Agentic RAG，先介绍传统 RAG 的离线入库和在线应用，指出其不足。再阐述 Agentic RAG 让 LLM 自主决策，结合工具执行循环。还介绍基于提示词和强化学习的实现方式，最后总结不同 RAG 的优劣。
解析天花板？TextIn xParse如何为RAG打造「零损耗」知识管道
在AI应用发展中，LLM与RAG系统成核心引擎，但项目落地时模型表现常难达预期，根源在于文档解析质量。TextIn xParse能为RAG打造‘零损耗’知识管道，本文从多方面对其解析能力进行了解读。
“今天的OpenAI，就是昨天的Sun！” 杨立昆最新长谈：像Linux击溃微软一样，开源AI终将统治世界
图灵奖得主杨立昆在万字对话中阐述AI逆行逻辑，认为LLM非通向人类智能的道路，因其缺乏预测行动后果等能力。他离开Meta创立AMI Labs，专注世界模型和JEPA架构，还介绍Tapestry项目，主张开源AI将统治世界。
英伟达祭出NVFP4核弹：大模型训练根本性转变，GB300效率狂飙7倍
英伟达推出新格式NVFP4，能以4 - Bit速度与效率实现16 - Bit生产件级训练精度，是LLM开发重大飞跃。虽处于研究阶段，但正与多组织合作。还介绍其方法、优势，实验也证明它在大规模训练的有效性。
AI 时代的新可观测性：不只看系统崩没崩，还要看模型有没有胡说
New Relic首席技术战略官Nic Benders与主持人探讨可观测性从传统到AI驱动的演进，提及LLM与统计方法协同处理海量数据，还讨论了监控AI系统的难题及可观测性核心是理解业务目标。