「低熵token」共找到 1591 篇相关文章
0.01%参数就能接近全量微调！低数据微调极致省参方案来了 | ACL'26
瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下，微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收，集成进Hugging Face - PEFT库。
马斯克Grok 4.6重回一梯队！更低价格反超Fable 5，这Cursor是真没白收购
马斯克携Grok 4.6让SpaceXAI重回大模型牌桌。它跑分超GPT - 5.6 Sol和Fable 5 Max，价格更低。此次升级聚焦长程agent任务，还发布了Grok Bot智能体，后续Grok 4.7也将登场。
首篇自进化智能体系统技术报告出炉：Token成本直降近10倍，省钱又高效！
全球首个基于‘上下文信息密度最大化’的自进化智能体系统GA发布技术报告。它在多基准测试表现惊艳，能省近10倍Token，还能自我进化。报告深度解读设计理念，剖析自进化能力与智能体设计思路。
北大 & 作业帮团队提出 Text-to-SQL 新框架 Interactive-T2S，攻克宽表处理与低资源对齐难题
北大与作业帮联合研发的论文提出 Interactive-T2S 框架，将 LLM 塑造成智能代理，通过多轮交互解决传统 Text-to-SQL 方法在宽表处理、低资源对齐等方面的难题，已入选国际顶会 CIKM2025。
PPO-Clip的「盲点」被补齐了？快手提出熵比裁剪方法，从局部约束到全局稳定的关键一跃
快手科技语言大模型团队提出熵比裁剪（ERC）方法，应对强化学习中信任域偏离问题。该方法从全局视角稳定策略分布，在多个数学推理基准实验中提升了模型性能，还与多种方法对比验证了泛化能力。
8B模型任务击败GPT-5？阶跃星辰开源Deep Think新框架，小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。
撞名Anthropic的“外挂”刷屏：让“DeepSeek V4‑Pro碾压 Fable 5”但无人能复现，Token开销反而翻倍
J - Space Cognition Suite社区项目在X上传播，称不修改DeepSeek V4 - Pro模型权重，用推理时Harness能提升其在多项Agent Benchmark表现，超Fable 5，但未第三方复现，且Token开销可能翻倍。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
突袭Cursor，Windsurf抢发自研大模型！性能比肩Claude 3.5、但成本更低，网友好评：响应快、不废话
当地时间5月16日，Windsurf推出首个AI软件工程模型家族SWE - 1。此系列含三款模型，性能比肩Claude 3.5且成本更低。开发者试用评价不错，但也指出存在幻觉问题。Windsurf旨在提升软件开发速度，后续将持续投入。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。