「LLM推理」共找到 2759 篇相关文章
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
超越RAG，DRAG让LLM准确率飙升45.5%，问题越复杂能力越强
RAG技术虽能让LLM检索资料生成答案，但存在短板，听不懂话里有话。DRAG方法应运而生，有DRA和RSC两大法宝，经对比实验，它在多任务上领先，准确率大幅提升，计算开销小。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
GPT-6 或有"生命"！MIT新作实现LLM自我进化，冻结权重时代终结
MIT新作《Self-Adapting Language Models》实现LLM自我进化，SEAL框架让模型自己生成“自编辑”微调自身。它能实时学新数据、修复知识、形成记忆。经两种场景验证，小模型也能超越GPT - 4.1等。
英伟达下一代GPU登场，Rubin CPX一次推理数百万Token，网友：这是头野兽
在周二的AI基础设施峰会上，英伟达宣布推出专为超100万token长上下文推理设计的Rubin CPX GPU。它将与其他产品组成新平台，性能卓越，还能复用现有平台，预计2026年底上市。
DeepSeek-R1发布100天后：全面复盘推理大模型复现研究及未来！
推理语言模型（RLMs）发展显著，DeepSeek - R1发布引发广泛影响且未完全开源。MiroMind等总结其复现研究，关注SFT和RLVR方向，介绍数据构建、方法设计、训练过程细节及实验关键发现。
我用 AI 翻译的三个阶段：提示词时代 → 推理模型时代 → Agent 时代
作者分享近 2 年 AI 翻译经验，将其分为提示词、推理模型、Agent 三个时代，介绍 Agent 翻译与提示词翻译区别，还阐述 Skill 创建迭代、三种翻译模式由来等，给出解决一致性问题等方法。
LLM-based Reranker效果到底如何？一项关于SoTA模型的全面分析
在信息爆炸时代，重排序是信息检索系统核心。论文对22种重排序方法实证研究，构建无污染数据集FutureQueryEval。结果显示LLM重排序器泛化能力被高估，轻量级模型有优势，为研究和应用提供指南。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。