「矩阵熵」共找到 120 篇相关文章
斯坦福：优化器「诸神之战」？AdamW 凭「稳定」胜出
斯坦福大学 Percy Liang 团队研究指出，虽有不少声称能显著加速的优化器替代方案，AdamW 仍为预训练稳健首选，但矩阵型方法在特定数据–模型比例下优势明显。研究还揭示了现有研究的方法论缺陷。
融云首发“通信+AI”闭环架构，让 AI 有情商、能落地｜甲子光年
8月28日融云在AIM线上发布会推出“通信+AI”产品矩阵，围绕“能落地的好AI”理念打造高情商AI。通信与AI相互增强，构建四层知识体系数字分身，其产品可解决多场景痛点，还能降低开发门槛。
在软件工程中，对 AI 的过度依赖，会加速工程师的无能
资深软件工程师Doug Slater指出，在软件工程中对大语言模型（LLM）过度依赖会加速工程师无能。LLM无法取代人类批判性思维，它在输出、输入、开发速度和用户技能等方面存在风险，且无法掌握程序理论和抵抗程序熵。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上性能显著优于传统算法。
斯坦福英伟达推出测试时强化学习：微调开源模型胜过顶级闭源模型，仅需几百美元
斯坦福、英伟达等提出TTT - Discover方法，基于开源模型gpt - oss - 120b，在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制，解决分布外问题，成本低且表现优，但目前适用于连续奖励场景。
实测丨全新的「扣子编程」，全新的 Vibe Infra
作者见证扣子多次迭代，虽其曾沉寂，但近期更新打消疑虑。扣子推出「扣子编程」，拥抱 Vibe Coding，打造三大核心功能矩阵。作者实测其功能，从想法到成品速度快，还能一键部署，软件开发门槛降低。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。