「token熵分布」共找到 740 篇相关文章
分享2篇OpenClaw最新Skill论文~
OpenClaw作为最大开源Agent框架，其Skill生态安全受关注。分享两篇论文，《Clawdrain》揭示Token耗尽攻击，《SkillFortify》提出形式化防御框架，从攻防维度揭示OpenClaw深层安全风险。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
长程任务飙升98%，斯坦福Skill原生LLM来了
普林斯顿、CMU、斯坦福、牛津等提出Skill-Native大模型，提出Skill Entropy度量技能切换难度，搭建Skill²-Bench评测，还将熵用作训练信号提出Skill-Entropy RL，提升多模型准确率，且技能熵可复用。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
Reasoning新突破：SoftCoT++如何让LLM‘多想几条路’？
LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。
The Batch: 891 | 用于科学发现的人工智能
Adji Bousso Dieng展望2026年，希望AI从‘提升效率的工具’变为‘推动科学发现的催化剂’。当前深度学习主导范式是‘插值’，难以应对数据分布‘尾部’，应转向能驾驭分布尾部的技术，把多样性作为核心目标。
Agent 形态一天一个样，Infra 到底该为谁而建？
过去一年，Agent 应用形态多变，但进入稳定生产环境的项目有限。清程极智师天麾认为，Agent Infra 重要性待显，当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
破解「个性化学习」长尾难题，巧用神经坍缩理论 | ICML 2025
当前个性化学习方法基于数据高质量且类别平衡的假设，但现实教育数据呈不均衡分布。华东师范大学和浙江大学团队在ICML2025提出NCAL方法，将神经坍缩理论引入该领域，解决教育数据长尾分布问题。
ACL 2026｜答得更准还写得更短？华为泰勒实验室提出SHAPE，给LLM推理装了个「推理税」
华为泰勒实验室等团队提出 SHAPE，给推理链装「里程碑 + 推理税」机制。它分三步，能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示，它提升准确率、降低 token 消耗，还解决了推理坍缩等问题。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。