「预训练研究」共找到 3695 篇相关文章
OpenAI挖到最新菲尔兹奖得主，字节刚出炉的科学家计划在瞄准谁？
今年菲尔兹奖得主之一Jacob Tsimerman将入职OpenAI安全部门。当下顶尖科学家流向头部大模型公司，AI与前沿科学融合成趋势。字节发布Seed STEM科学家计划。大模型下半场比拼基础研究，构建评测基准很重要。
太强了！这个 NotebookLM Skill，真的把 NotebookLM 搬进了命令行！
Google的NotebookLM凭借强大模型能力成AI圈“现象级”产品，如今开发者将其搬到命令行，开源神器notebooklm - py诞生，具备AI Agent工具、研究自动化等功能，有多种使用方式。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
突破遥操瓶颈！全新无本体数据世界动作模型Noe-0发布
穹彻智能发布世界动作模型 Noe - 0，全链路采用无本体采集数据。其数据来自真实环境，配合 World Action Model 架构和 AI - Native 数据基础设施，跑通从真实世界经验到机器人能力转化的完整链路，是具身智能的里程碑。
Anthropic：大模型开始意识到自己在想什么！
Anthropic的Jack Lindsey论文《Emergent Introspective Awareness in Large Language Models》对大模型做神经科学受控实验。发现Claude Opus 4/4.1能感知内部念头，区分内外状态，通过检查内部状态一致性判断输出意图。
模型的自我进化，可能真的开始了。
昨天Hermes Agent更新支持原生Windows，安装简单。它调用量超OpenClaw成榜首，与MiniMax M2.7组合迭代快，能长程干活、自主迭代解bug，还可复刻文档风格样式，两团队正合作后训练项目。
开源对机器人的价值，远超大模型时代的想象丨唐文斌深度对谈抱抱脸创始人
Dexmal联合创始人唐文斌与Hugging Face联合创始人Thomas Wolf指出当前机器人研究痛点，联合推出开放、统一、可复现的真实世界机器人评测平台RoboChallenge.ai，探讨开源对机器人的价值、评测平台搭建等问题。
谷歌DeepMind：AGI不必是巨型模型，拼凑型AI群或率先涌现，管理大规模Agent迫在眉睫
DeepMind最新研究提出，AGI未必以单一巨型模型形式出现，可能由多个次级AGI智能体协作拼凑涌现。为此，团队提出分布式AGI安全框架，包含四层深度防御模型应对新安全挑战。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
他们让万亿参数RL学会了「省着跑」，顺便砍掉九成算力
2025年，强化学习成大模型进化主战场，但万亿参数模型跑RL成本高。Mind Lab团队实现1T参数模型LoRA高效RL训练，GPU消耗降90%，技术开源。此外还有Memory Diffusion记忆机制等成果。