「预训练研究」共找到 3691 篇相关文章
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
ACL'25首届博士论文奖 | 重新思考 LLM 中的数据使用
近日，第一届 ACL 计算语言学博士论文奖获得者是 Sewon Min，其论文《重新思考大型语言模型中的数据使用》围绕大型语言模型如何使用训练所用的庞大文本语料库展开研究。
首篇WebAgents综述：大模型赋能AI Agent，实现下一代Web自动化
互联网任务重复繁琐，香港理工大学研究人员从架构、训练和可信性等角度，总结WebAgents代表性方法，梳理研究进展。WebAgents能根据用户指令完成网页任务，其发展预示人机关系新纪元。
开源一周狂揽 35K 标星！Karpathy 开源 autoresearch：630 行代码让 AI 自动“炼丹”！
前OpenAI、特斯拉前AI总监Andrej Karpathy发布新项目autoresearch，一周揽35.6k Star。它是极简版LLM训练环境，630行代码让AI自动做研究，人类通过Prompt指导，AI自行实验。
AI穿越战争迷雾，72%的准确率化身中东冲突预言家
阿联酋和美国研究人员用中东冲突测试AI推理表现，发现其能看透利益博弈、预判战局演变。AI擅沿客观限制推演，在经济领域敏锐，政治领域较难，整体预测准确率达72%。
全球第一位AI哲学家，在谷歌DeepMind的9年：为AGI安全奔走
谷歌DeepMind的政治哲学家Iason Gabriel入职9年，发明的对齐框架影响Gemini训练决策。在AGI承诺与AI现实伤害间，他追问AI伦理。但技术部署快，6700亿美元涌入赛道，伦理红线被踩。
「CV 铁三角」落定Meta，视觉 AI 如何向多模态演进？
Meta 高薪挖来「CV 铁三角」引关注，其研究成果与视觉 AI 向多模态演进路径高度贴合。他们过往十年协作，研究涵盖 S4L、BiT、ViT 等，构建起现代多模态 AI 基础框架。
6K星 Qwen围绕Web AI，打造Agent Search新生态
自Manus带火深度研究代理后，新兴方向面临多模态代理推理能力不足等问题。千问2025年推出系列工具完成web智能搜索生态闭合，本文分享WebWatcher训练及解决问题的方法。
第六章 Coding优先编的是「过程与约束」,不是「参数」
本章以开面包店类比训练大模型，介绍 AutoResearch 自主实验框架。它将研究生助理工作循环交给 Agent，在固定时间用单一指标判断好坏。仓库获约 64.7K Stars，Karpathy 设计哲学为极简主义与固定约束。
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。