「探索熵机制」共找到 1551 篇相关文章
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
西湖 & 浙大 | PiFlow：让AI拥有“科学直觉”，Agent用于科学发现的新范式！
西湖大学团队提出PiFlow，一个基于信息论的自动化科学发现框架。它将科学发现视为结构化的不确定性降低过程，由科学原理指导，通过Min - Max优化机制平衡探索与利用，在多领域实验中效果显著，应用前景广。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
OpenAI偷装Anthropic Skills实锤，ChatGPT、Codex已植入！开发者实测11分钟造PDF：比MCP强！
近日开发者发现 OpenAI 悄悄支持了 Claude 构建的 Agent Skills 机制，内置 excel、word 和 pdf 等技能。其实现理念与 Anthropic 相似，且 Skills 支持功能已落地 ChatGPT 和 Codex。业内对 Skills 看法不一，但它为智能体发展带来新方向。
AgentCPM-Explore开源，4B 参数突破端侧智能体模型性能壁垒
清华大学、中国人民大学等联合研发的 AgentCPM-Explore 开源，基于 4B 参数在深度探索任务上表现出色，打破参数壁垒，开源全流程基建，还探索出提升小模型性能的方法。
Claude爆火研究漏引华人团队成果，已挨打立正道歉
Anthropic新论文研究Claude“情绪机制”，漏引华人团队Chenxi Wang去年10月论文。经沟通，A社已道歉并更新博客引用。华人团队论文首篇系统研究LLMs情绪机制，解答核心问题，成果显著。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
Git 是给工程师的，YoYo 是给 Vibe Coders 的！网友：“这才是 AI 时代的版本控制！”
大家常用的Git用于交付最终产品，适合工程师。但编码探索过程混乱，这正是YoYo要解决的问题。它能捕捉凌乱试验，核心功能有保存、预览、恢复，还支持代理AI搜索，适配主流IDE。