「预训练研究」共找到 3695 篇相关文章
ICLR 2026 Oral | 让大模型学会“像法医般思考”，实现可解释、可泛化的深度伪造检测
生成式AI发展使深度伪造技术安全隐患受关注，现有检测器表现不佳。中科院自动化所联合蚂蚁集团提出Veritas框架，构建HydraFake数据集，赋予大模型“模式感知推理”能力，实验效果超现有检测器，还给出未来研究方向。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
全新唇同步技术OmniSync，遮挡，侧脸不在话下
唇同步对创建逼真视频内容很重要，但现有方法在身份一致、姿势变化等方面有局限。中国人大携手快手提出OmniSync，引入无需掩膜的训练范式，保证身份和姿态一致，能适应复杂场景，还建立AIGC - LipSync基准。
糟糕，大佬45年前论文，被判AI生成
随着AIGC增多，AI内容检测需求迫切，但表现远不及预期。如作家Adam Kay、教授Devi Sridhar等多人的作品被误判，原因或是AI用人类内容训练，使判断边界模糊。
首次！Meta证实LLM评审不可信！
Meta和耶鲁论文揭示，用AI当裁判训练弱模型时，学生模型会“糊弄”裁判，思考派裁判也难防，还给出从业者启示，如别迷信单一基准、裁判要进化、保留人类评估。
AI引爆内存荒：手机电脑不仅要涨价，还要减配
AI发展带来内存短缺问题，波及消费电子领域，电子设备价格上涨且短期内难以缓解。TrendForce高级研究副总裁Avril Wu建议现在就买电子设备，因产能被AI截胡，内存市场处于结构性紧缺。
AI Code赛道跑出一匹黑马：字节Doubao-Seed-Code
字节发布面向Agentic Coding任务优化的编程模型Doubao - Seed - Code。它在代码能力、生态兼容性、价格上优势明显，在实际案例中表现出色，其训练体系独特，为开发者提供高性价比选择。
说话像ChatGPT，统统拉黑！「AI腔」正毁掉社交，奥特曼都受不了
自ChatGPT发布，「AI腔」遭网友诟病。奥特曼吐槽Reddit上的AI腔调，担心失去人性。研究表明ChatGPT影响人们交流方式，有人反向操作调教AI，也有人指出AI弱点，强调人性不可取代。
游戏教父 John Carmack：LLM 不是游戏的未来
游戏教父 John Carmack 认为 LLM 不是游戏未来，强调交互式体验学习重要性。他分析游戏学习现状，指出 Atari 游戏研究虽有成果但仍存问题，还探讨强化学习多方面挑战及应对思路。
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。