搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2516 篇相关文章

AI软递归自我提升，Hassabis夜不能寐：人类已至奇点山脚

AI递归自改进和研究自动化正从概念走向现实，哈萨比斯称人类站在「奇点山脚」。Claude已独立编写超80%代码，Anthropic工程师效率大幅提升。但AI递归也带来安全风险，全球实验室陷入「囚徒困境」。

微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。

Token成AI时代“电力消耗”，企业成本压力大。昆仑万维推出高性能Agent模型SkyClaw - v1.0及轻量版，性能逼近顶流，价格低且限时免费。经实测能力强，其训练体系独特，未来还将开源。

Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。

Anthropic论文登上Nature，揭示AI模型仅通过纯数字序列就能继承另一模型的危险偏好。研究表明，即使删掉敏感词，隐性信号仍能传递，且代码和推理链也是传染通道，这对AI安全评估提出新挑战。

本文介绍信息论之父Claude Elwood Shannon，他1948年发表论文创立信息论，发明“比特”概念，信息从此可精确测量等。他还造了杂耍机器、无用机器、会走迷宫的电子老鼠等。Anthropic用他名字命名产品Claude。

当前主流图像生成模型多步策略依赖手工静态调度规则，存在需大量调参、无法适配样本特性的问题。本文提出AdaGen框架，通过强化学习训练策略网络，在四大生成范式上实现性能提升与效率优化。

文章以 Routa 看板项目卡为例，阐述 Agent Team 的 Harness 工程防御体系。指出任务完成不等于交付结束，强调 Gate First 理念，即先确认可验证状态再推进协作，还提及运行时边界等重要概念。

智谱发布专为龙虾场景深度优化的基座模型GLM - 5 - Turbo，从底层训练重塑，增强四项核心能力。发布评测基准ZClawBench，模型表现领先。还推出龙虾套餐和安全管理体系，助力企业实现算力自由与安全管控。

本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。