「预训练策略」共找到 2839 篇相关文章
南洋理工、北大、上海AI实验室开源长记忆世界模型
目前世界模型模拟方法在维持长期一致性上有挑战，南洋理工大学、北京大学王选计算机技术研究所、上海人工智能实验室联合开源长记忆世界模型WORLDMEM，介绍了其记忆机制、基础架构、训练技术及检索策略等。
动态RAG新工作：效果爆了，代码已开源
大语言模型幻觉问题突出，现有动态RAG方法信号不可靠。QuCo-RAG从预训练语料库挖掘统计证据，用客观频率替代主观置信度，实现毫秒级幻觉检测与动态检索触发，代码已开源。
均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。
开源复现o3图像思考！快手让AI不再被动看图，模型自主生成代码调用工具
Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。
ICML 2025 | 如何在合成文本数据时避免模型崩溃？
随着生成式AI发展，合成数据成大模型训练重要部分，但可能引发“模型崩溃”。ICML 2025会议上，上交大等团队剖析此问题，提出Token - Level Editing策略，避免模型崩溃，实验验证了其有效性。
刚被马斯克收购，Cursor掏出新模型：10万卡加持，和Opus、GPT一样大
本周二，刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型，在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当，还谈了对其他AI实验室看法，新模型将几周内发布。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
突发｜Andrej Karpathy官宣加入Anthropic！
周二晚间，Andrej Karpathy在X上自宣加入Anthropic，将在核心预训练团队工作。他是AI领域极具影响力人物，曾任职OpenAI、特斯拉等。此次加入或助推Anthropic上市，也让OpenAI面临压力，或引发新一轮AI军备竞赛。
伦理防线不可靠！分布偏移诱导，大模型进入暗黑模式
香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。