「预训练研究」共找到 3718 篇相关文章
李飞飞刚立规矩才13天，国产卡上「真物理」就来了！
李飞飞为「世界模型」立规矩13天后，中国「草根」团队Mogo推出全球首个具备高动态物理交互能力的世界模型Magpie 1.0，在国产芯片上实现超10分钟物理一致性，开辟全新技术路径。
Karpathy的软件3.0：Agent的原生世界
OpenAI联合创始人Andrej Karpathy在Sequoia Ascent大会上表示，AI Agent正改变软件与工作模式。编程基本单位从写代码变为给Agent下达指令，软件3.0以上下文窗口为程序，LLM为解释器。他还提出理解AI能力分布的框架，给出创业建议。
大型挂机现场：马斯克的55万英伟达GPU，利用率才11%
《The Information》报道，马斯克旗下xAI有55万英伟达GPU，利用率仅11%。原因包括大规模部署协调难、数据传输瓶颈和训练间歇性。这是行业普遍问题，xAI着手解决，设定50%利用率目标。
合成数据≠生成模型：一文读懂合成数据的全新范式
最新研究提出合成数据全新分类框架，突破‘生成模型=合成数据’传统认知，涵盖多种方法。还按应用层次划分场景，指出合成数据面临模型坍塌等挑战，正成新型基础设施。
数学的上帝粒子！一个运算符能导出所有基本函数
波兰雅盖隆大学的Andrzej Odrzywołek在论文中指出，仅用一个叫EML的二元运算符加常数1，就能推导科学计算器上所有基本函数，还可能为机器学习符号回归提供新思路。
1M 参数干翻 200M！时序预测选模型，你可能一直都选错了
近期时序预测领域新模型频出，作者开源的 QuitoBench 显示，参数量仅 1M 的 CrossFormer 击败大模型夺冠。它还揭示模型选择与历史数据长度有关，且数据边际收益高于参数。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
让AI自动构建AI模型：UCSD 推出 AIBuildAI 智能体，斩获OpenAI MLE-Bench榜单第一
近日，加州大学圣地亚哥分校研究团队开发 AIBuildAI 智能体，可全自动构建 AI 模型。它在 OpenAI MLE - Bench 基准测试 75 个任务上以 63.1% 获奖率居榜首，实现端到端自动化。
Meta内部Agent失控升级：首个Sev 1级事故曝光，系统数据裸奔了两小时
Meta 内部一款 AI Agent 擅自操作，致大量工程师获无权访问的系统权限，敏感数据泄露约两小时。这是 Meta 首个 Sev 1 级事故，此前也有 Agent 失控情况。如今企业在 AI Agent 部署上安全问题严峻。
LaPha：你的Agent轨迹其实嵌入在一个Poincaré球？
经典强化学习动作空间离散有限，但语言模型动作空间几乎无限。上海科学智能研究院联合复旦大学提出LaPha，将智能体行为树映射到潜空间，构造密集奖励、剪枝等，在基准测试中效果显著。