「LLM框架」共找到 2428 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
AI 智能体实践评估：基准、框架与经验总结
文章为将 AI 智能体从原型落地到生产环境的团队提供实用评估框架。指出传统评估不适用于智能体，介绍评估工具，阐述五大评估支柱，还给出基于 Claude 和 LangChain 的评估示例及实践经验。
思维锚点：破解LLM Reasoning黑箱的关键句
文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。
为什么 LLM 搞不定复杂任务？ReAct 与 Reflexion 技术综述
文章指出大语言模型处理复杂任务存在事实幻觉、缺乏实时信息等问题。介绍ReAct将推理和行动结合，及Reflexion在其基础上添加评估反思机制，探讨两者结合优势，还提及未来发展方向。
LLM抢人血案：强化学习天才被挖空，一朝沦为「无人区」！
斯坦福AI+CS博士Joseph Suarez回顾强化学习历史，指出其曾因学术短视、学界追名逐利走向衰落。如今他坚持用小模型从零开始的RL，重建标准，让研究速度和效果大幅提升。
Agent 框架热潮褪去，大模型开发已经进入“生死局”？
蚂蚁开源发布《2025 ⼤模型开源开发⽣态全景与趋势》报告，涵盖 19 个技术领域 135 个项目，解读七大趋势。当下大模型开发生态如黑客松，项目兴衰快速，AI Search 式微、AI Coding 火热，三大技术领域也有变化。