「预训练研究」共找到 3707 篇相关文章
性能大涨！阿里开源新版Qwen3模型，霸榜文本表征
今日凌晨阿里开源Qwen3-Embedding和Qwen3-Reranker两款新模型，专为文本表征等任务设计，支持119种语言。测试显示其性能出色，在多语言文本表征和排序任务中超越众多模型，还采用了多种创新设计与训练方法。
惊天大瓜！中东土豪发「纯血」大模型，背后底座竟是MiniMax？
沙特发布号称100%沙特血统的国家级大模型HUMAIN M3，后被发现基于中国MiniMax的M3模型。沙特用超1万亿阿拉伯语Tokens后训练，使模型在阿拉伯语赛道领先，代表中国AI出海新形态。
Karpathy自称患上AI精神病！能力没有上限，一切都是Skill问题
Karpathy在播客中称自己患AI精神病，日常工作多依赖智能体。他认为智能体能力无上限，瓶颈在使用者技能。还探讨软件变革、自动化研究、模型分化等，对就业、开源等也给出看法。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
LLM-in-Sandbox：给大模型一台电脑，激发通用智能体能力
来自中国人民大学、微软研究院和清华的研究者提出LLM - in - Sandbox范式，让大模型在代码沙盒完成任务，实验显示其能提升多领域表现，无需额外训练，还能减少token消耗，研究者认为应取代纯LLM推理。
95 后团队做 3D 大模型，拿下头部游戏重磅合作，正在定义 3D 生成的新规则
影眸科技年轻团队携 3D 生成模型 Rodin 获头部游戏合作。其研究入选 SIGGRAPH 最佳论文提名，还完成融资。新模型 Rodin Gen - 2 提升生成质量与可控性，在多领域应用，定义 3D 生成新规则。
LeCun预言成真！790年长视频，炼出最强开源「世界模型」
2025年‘世界模型’成AI巨头战场，谷歌、李飞飞团队等纷纷布局。上周北京智源研究院发布Emu3.5，340亿参数，基于790年长视频数据训练，其架构优越，推理快，能力强，还公开技术报告邀全球探索。
Nature：锂可逆转老年痴呆
Nature报道，补充大脑锂储备可预防甚至逆转阿尔茨海默病。研究通过小鼠实验发现，乳清酸锂能逆转神经病变、消除记忆障碍。此前锂多用于精神药物，此次发现或为老年痴呆治疗带来新方向。
重复一下提示词，Gemini准确率竟从21%飙升至97%！
Google Research团队研究发现，重复提示词可让Gemini准确率从21.33%升至97.33%。该策略能提升主流大模型非推理任务表现，在多模型多基准测试中优势明显，且不增加延迟。
CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？
论文《From Entropy to Epiplexity》指出经典信息论在AI面前有三大悖论，提出用Epiplexity度量信息。它将数据信息拆为Time - bounded Entropy和Epiplexity，通过神经网络训练近似计算，实验验证其有效性，并给出启示。