「预测一致性学习」共找到 1882 篇相关文章
MSRA清北推出强化预训练!取代传统自监督,14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT,将强化学习融入预训练,把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色,在多方面媲美甚至超越32B模型,未来RL或在LLM预训练掀起风暴。
拆解 Claude 5.1:38 小时不睡觉的背后,Anthropic 正在终结「模型论」
Anthropic 更新 Claude 5.1,推出 Fable 5.1 和 Mythos 5.1,将‘智力’与‘权限’物理剥离。前者负责通用任务,后者面向专业场景。此次更新展示模型解决长时任务状态一致性等问题的能力,还体现了能力权限分离等变化。
模型之上,才是真正的资产
微软CEO萨蒂亚·纳德拉在《没有生态的前沿,立不住》中提出,每家公司未来要构建人力资本与Token资本。强调Token资本构建靠学习闭环,还提出检验公司是否拥有Token资本的方法,呼吁避免价值集中到少数模型公司。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算,忽视层间通信。介绍多种层间通信改进方法,提出用检索替代累加,还提及深度注意力机制及混合深度注意力的成果。
机器人“狂踹不倒”视频刷屏!太空舱遍布城市街巷,银河通用这几手秀麻了
银河通用发布全新通用动作追踪框架Any2Track,让机器人精确模仿人类动作,还能抗干扰。团队将动作捕捉学习解耦为两阶段,兼顾精准模仿与抗干扰。其银河太空舱让机器人融入生活,全栈自研技术推动具身智能落地。
港科大(广州)联合腾讯AI平台部开源VibeWorlding,3D世界构建迎来Vibe Coding时刻?
香港科技大学(广州)联合腾讯AI平台部提出VibeWorlding,是可通过多轮对话等自主构建和编辑交互式3D世界的多模态智能体框架。团队开源多项数据,其模型经强化学习后表现超GPT - 5.5等。
Andrej Karpathy最新万字采访:AGI还需10年,RL其实很糟糕,AGI不会导致经济大爆发
Andrej Karpathy在两小时万字采访里阐述AI观点。他认为AGI还需十年,强化学习糟糕,其不会带来经济爆炸式增长。还分享创办Eureka的愿景,想构建“知识斜坡”,让人类在AI时代有更强认知力。
人格向量:大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移,传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”,实现提前预测、实时监控和主动控制,为AI安全提供数学框架。
Meta 将移动端消息基础设施从 C 迁移到 Rust
Meta正在用Rust逐步重写移动端消息基础设施,替换老旧C代码。内存安全、开发者幸福感和长期可维护性是迁移动机。编译核心库用于多应用,虽Rust学习曲线陡,但团队用多种方式克服,还改进工具链。
他们还没毕业,就在用AI搭建自己的世界|五源小酒馆Vol.30 x AI Native创造者
本期五源小酒馆邀请三位年轻AI Native创造者,分享AI学习与创造经历。他们谈及AI对生活工作的改变、关注的产品及模型,探讨资源分配、AGI突破等问题,还交流了未来能力培养和给十年后自己的话。