「预训练研究」共找到 3687 篇相关文章
黄仁勋暴论核弹：AGI已经实现，Ilya错了，程序员有10亿
在Lex Fridman的专访中，黄仁勋抛出诸多惊人观点，如称已实现AGI，反驳Ilya“预训练触顶”言论，认为推理计算难且重要，还对未来技术、行业、职业发展等多方面进行展望。
Claude code让程序员消失，Anthropic却说用AI编程会让你变傻
Anthropic科学家实验发现，新手过度依赖AI编程，概念理解、代码阅读和调试能力显著退化，效率未提升。研究识别六种AI使用模式，指出主动思考才是技能形成途径，应保留人脑训练的“摩擦力”。
王阳明心学，被Anthropic用来教Claude做人了
UT Austin哲学教授Harvey Lederman研究王阳明心学十年，现加入Anthropic做Claude对齐训练。他用分析哲学拆解“知行合一”，发现AI模型存在“信念冲突”，Anthropic用类似阳明心学方法解决问题。如今硅谷AI公司争抢哲学家。
本周六直播预约 | Test-Time Reasoning综述分享！
当大模型训练成本飙升、数据枯竭，推理阶段扩展Test-Time Scaling（TTS）成研究热点。论文提出四维正交分析框架，梳理主流技术路线，提炼发展路径，给出操作指南与未来思考，本周六将直播分享该综述。
解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law
自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
震撼发布！最大人体动作数据集 MotionMillion 正式登场
上海交通大学研究团队构建高效标注流程，发布最大人体动作数据集MotionMillion，含超2000小时、200万条文本 - 动作配对数据。还推出评测体系MotionMillion - Eval，训练70亿参数动作生成大模型，刷新SOTA。
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
大模型幻觉的源头找到了！清华团队锁定大模型宁愿说谎也要讨好人类的神经元
清华大学研究团队深度解剖大语言模型微观机制，确认幻觉关联神经元存在，揭示其与过度服从行为相关。通过干预神经元激活状态可增减模型幻觉行为，为开发可靠 AI 系统提供靶点。