「预训练策略」共找到 2839 篇相关文章
完全透明开源的共情语音大模型，三阶段训练，四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
GPT - 4o、Gemini等顶级语音模型闭源，紫东太初团队联合长城汽车AI Lab开源端到端共情语音语言大模型OpenS2S，提供构建共情语音系统新范式，开源所有核心资源，还介绍了技术方案、数据构建及训练流程等。
刚刚，OpenAI开源了两个大模型~
OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B，用于安全用例。有安全推理训练、自带策略等亮点，适配不同显存，采用宽松许可证。
黄仁勋暴论核弹：AGI已经实现，Ilya错了，程序员有10亿
在Lex Fridman的专访中，黄仁勋抛出诸多惊人观点，如称已实现AGI，反驳Ilya“预训练触顶”言论，认为推理计算难且重要，还对未来技术、行业、职业发展等多方面进行展望。
重大技术突破！微软发布BioEmu模型，蛋白质模拟从数年压缩至几小时
今天凌晨，微软CEO分享蛋白质模拟模型BioEmu，可将蛋白质动态模拟从数年缩至几小时，已在《自然》发表。它能解决传统方法难题，核心设计独特，训练整合多数据源、采用多阶段策略。
多人会话视频生成新突破：香港科技大学，浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
图文跨模态“近视”问题破局：360开源新模型 FG-CLIP，实现细粒度图文对齐突破｜ICML2025
360人工智能研究院发布 FG - CLIP 模型，攻克图文细粒度对齐难题，成果被 ICML 2025 接收并开源。它采用双阶段训练等策略，在多任务评测中超越对比模型，推动跨模态研究产业化落地。
智源研究院发布中英文高质量数据集CCI4.0，推动全球人工智能开源创新
2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。
字节发了个机器人全能大模型，带队人李航
字节推出Seed，其Robix视觉—语言单模型能搞定机器人推理、任务规划和自然语言交互，核心采用思维链推理和三阶段训练策略，效果超Qwen2.5 - VL、GPT - 4o等，负责人是李航。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。