「压缩推理」共找到 2214 篇相关文章
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
LightLLM中DeepSeek V3/R1 Two MicroBatch Overlap 实现解析
文章围绕LightLLM中DeepSeek V3/R1的Two MicroBatch Overlap实现展开。介绍了该技术原理，通过拆分推理过程、精心设计执行顺序实现计算与通信重叠。还阐述了数据结构设计、预处理、核心执行流程，以及优化策略和配置启用方式。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
大模型之外，向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。
半年内 4 家大厂合并前端建制，全栈只是过渡答案，程序员何去何从
文章围绕大厂前端建制合并展开，介绍半年内得物、美团等四家公司的相关动作，分析前端先被合并的原因，指出现有全栈定义已变，公司采购单位转变，还提及未被压缩的方面，给出关键结论。
不卷速度卷验证，陈天桥MiroMind精准预测15天后黄金价格
陈天桥带队的MiroMind发布新一代重型推理智能体MiroThinker-1.7和MiroThinker-H1，在基准测试中表现优异，超越众多顶尖模型。该模型不仅通用任务强，在科技金融等专业领域也表现亮眼，还能承担真实长链条智力任务。
用嘴聊出来了一个 APP：实测「码上飞」语音开发有多离谱
本文实测「码上飞」AI 开发平台，它让用户用对话或语音描述需求，AI 就能做出应用。测试了美甲预约、AI 生图、私域自媒体知识付费小程序三个场景，它表现出色，大幅压缩开发成本，助普通人跨过技术门槛。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
医疗幻觉率比DeepSeek低3倍，百川循证增强大模型横扫全球医学考试！
百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。