「多尺度对比学习」共找到 1812 篇相关文章
Andrej Karpathy最新万字采访:AGI还需10年,RL其实很糟糕,AGI不会导致经济大爆发
Andrej Karpathy在两小时万字采访里阐述AI观点。他认为AGI还需十年,强化学习糟糕,其不会带来经济爆炸式增长。还分享创办Eureka的愿景,想构建“知识斜坡”,让人类在AI时代有更强认知力。
Meta 将移动端消息基础设施从 C 迁移到 Rust
Meta正在用Rust逐步重写移动端消息基础设施,替换老旧C代码。内存安全、开发者幸福感和长期可维护性是迁移动机。编译核心库用于多应用,虽Rust学习曲线陡,但团队用多种方式克服,还改进工具链。
他们还没毕业,就在用AI搭建自己的世界|五源小酒馆Vol.30 x AI Native创造者
本期五源小酒馆邀请三位年轻AI Native创造者,分享AI学习与创造经历。他们谈及AI对生活工作的改变、关注的产品及模型,探讨资源分配、AGI突破等问题,还交流了未来能力培养和给十年后自己的话。
大模型的第一性原理:(三)信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论,提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理,还阐述大模型各阶段信息论原理、定向信息计算方法,对比Granger与Pearl因果。
首创Mid-training范式破解RL奥秘,Llama终于追平Qwen!
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异,提出中期训练策略,将 Llama 改造成适配 RL 的推理基础模型,缩小与 Qwen 性能差距,还发布了 MegaMath-Web-Pro-Max 数据集。
Reasoning模型在RL下的探索欲望急速下降问题:探索熵机制
论文研究发现大模型经强化学习训练解题时,会出现模型探索欲望急速下降的熵崩溃现象,如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源,提出破解方法,研究对AI训练范式变革有重要意义。
kimi 的RL end2end ON LLM
文章分享Kimi Researcher背后技术思考,采用端到端强化学习打造大模型Agent。对比传统方法,凸显其灵活通用、能力上限高、可扩展优势。还展示其在考试榜单成绩提升及智能“涌现”,介绍多应用场景。
给 AI 一张陶罐碎片图,它能还原破裂过程吗?Minimax H3 vs Seedance 2.0 Fast 实测
文章实测 MiniMax H3 和 Seedance 2.0 Fast,给模型一张破碎陶罐图,让其生成破碎过程视频。分析 H3 技术逻辑,对比两模型效率、质感和物理细节等差异,指出开放与闭源模型的特点及视频模型待解决的问题。
腾讯AI Lab首创RL框架Parallel-R1,教大模型学会「并行思维」
腾讯AI Lab等机构研究者首创Parallel - R1框架,通过强化学习让大模型掌握并行思维。它解决了RL训练的冷启动和奖励设计难题,在多数学基准上提升准确率,还揭示模型思维策略变化及并行思维的‘脚手架’作用。
黄仁勋李飞飞林斌投了同一家机器人公司
Generalist是专注给机器人“造通用大脑”的AI公司,创立不久便多次融资,估值超20亿美元。其GEN - 1.5有强大泛化能力,演示一次就能上手,但也有很大进步空间,展示了未来通用机器人大脑学习方式。