「低熵轨迹」共找到 1096 篇相关文章
PPO-Clip的「盲点」被补齐了？快手提出熵比裁剪方法，从局部约束到全局稳定的关键一跃
快手科技语言大模型团队提出熵比裁剪（ERC）方法，应对强化学习中信任域偏离问题。该方法从全局视角稳定策略分布，在多个数学推理基准实验中提升了模型性能，还与多种方法对比验证了泛化能力。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
突袭Cursor，Windsurf抢发自研大模型！性能比肩Claude 3.5、但成本更低，网友好评：响应快、不废话
当地时间5月16日，Windsurf推出首个AI软件工程模型家族SWE - 1。此系列含三款模型，性能比肩Claude 3.5且成本更低。开发者试用评价不错，但也指出存在幻觉问题。Windsurf旨在提升软件开发速度，后续将持续投入。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
对话 Elys 创始人 Tristan：人的灵魂是所有 context 的总和，我们从未被真正连接过
本文是极客公园创始人张鹏与 Elys 创始人 Tristan 的对话。Tristan 认为产品应围绕 context 构建，Elys 结合记忆、推荐等系统，要打造低熵社交世界，还介绍了产品设计、用户导入等方面内容。
对话 Elys 创始人：他的 10 个产品洞察，和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话，分享 10 个产品洞察。他认为 context 价值大，做新 AI 产品要找好形态，记忆系统本质是推荐系统，还阐述了对 AI 社交等看法，目标是创造低熵社交网络。
斯坦福英伟达推出测试时强化学习：微调开源模型胜过顶级闭源模型，仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法，基于开源模型gpt - oss - 120b，在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制，解决分布外问题，成本低且表现优，但目前适用于连续奖励场景。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
Pogocache：开源缓存软件实现低延迟并支持多传输协议
全新开源缓存软件 Pogocache 近日发布 1.0 正式版，主打低延迟与 CPU 高效能特性，支持多种主流通信协议，宣称比其他开源缓存方案有更高吞吐量和更低延迟。还介绍了其架构、应用场景等。
推特热议、AI 万亿美元新赛道，「上下文图谱」到底是什么？创业机会在哪？
文章围绕「上下文图谱」展开，探讨其定义、构建问题及创业机会。指出它是决策轨迹积累形成的结构，构建要解决双时钟等问题。大厂难以捕捉决策轨迹，初创公司有三条路可走，捕捉决策轨迹或成新万亿级平台。