「预训练框架」共找到 3463 篇相关文章
刚刚，DeepSeek全新多模态技术开源！
DeepSeek联合北大、清华开源多模态技术及论文，提出“视觉基元推理”框架，解决MLLM指代鸿沟问题。基于DeepSeek - V4 - Flash构建的模型，性能比肩GPT - 5.4等。论文还介绍架构、训练流程等。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
Lumina-mGPT 2.0：自回归模型华丽复兴，媲美顶尖扩散模型
上海人工智能实验室等团队提出Lumina - mGPT 2.0自回归模型，统一多种图像任务。它采用独立训练架构、统一多任务处理框架和高效推理策略，实验表现优异，后续将优化采样时间并扩展至多模态理解。
任务级奖励提升App Agent思考力，淘天提出Mobile-R1，3B模型可超32B
现有Mobile/APP Agent依赖动作级奖励，难应对变化环境。淘天集团团队提出Mobile-R1框架，采用三阶段训练，结合任务级奖励，实验显示其表现超基准，团队还计划开源资源。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
最好的 DeepResearch 平替开源了
ROMA是元代理框架，以递归分层结构解决复杂问题，有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务，介绍了安装选项、技术栈，还有预构建代理展示功能。
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。