「预训练研究」共找到 3695 篇相关文章
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
创新中心 | 2025首届“幻镜”AI视听测评季成果在京发布，探索AI视听领域建立科学测评体系
2025年10月28日，“人工智能赋能精品创作沙龙”暨首届“幻镜”AI视听测评季成果发布会在京举办，活动旨在为AI视听领域建科学测评体系。会上公布测评结果、优秀作品片单，发布研究分析报告。
Cloudflare 增强robots协议：对“AI白嫖”说不
互联网面临开放内容被利用或封闭内容失读者的困境，AI加剧此局面。Cloudflare持近20%网站流量，先推抓取付费策略，又推“内容信号政策”，升级robots.txt，限制AI训练使用内容。
250份文档就能给大模型植入后门：不分参数规模
Claude母公司Anthropic联合英国AISI和图灵研究所研究发现，仅250份恶意文档就能给不同规模大模型植入“后门”漏洞，打破了以往对大模型数据中毒的认知，给厂商提了个醒。
230个大模型在婴幼儿认知题上集体翻车！揭秘多模态大模型的核心知识缺陷
ICML 2025研究揭示多模态大模型在基础认知能力上表现不佳。研究者建测评题库CoreCognition测试230个主流模型，发现其存在核心知识缺陷，扩规模难补短板，还需补齐核心知识。
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
只用2700万参数，这个推理模型超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型（HRM），该模型仅2700万参数、1000个训练样本，就在复杂推理任务上超越DeepSeek和Claude等模型，还引入近似梯度等创新设计。
WSJ：中国AI公司用“飞行硬盘箱”规避美国芯片封锁
美国限制向中国出售先进AI芯片，中国公司想出新招，工程师带硬盘到海外数据中心训练AI，再将结果带回。企业还通过多种方式绕开封锁，同时东南亚数据中心崛起，中东也成新热点。
让AI学着“看菜下碟”！港中大等新框架让推理长度减少90%，准确率反增17%
香港中文大学等研究者提出TON选择性推理框架，使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制，实验显示其让推理长度最多减90%，准确率还提升，有益模型部署。
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。