「预训练策略」共找到 2839 篇相关文章
We-Math 2.0：全新多模态数学推理数据集 × 首个综合数学知识体系
北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0，含知识体系、数据集及训练策略，可提升模型数学推理泛化能力。该成果在X上获关注，登Huggingface Paper日榜第一。
扎克伯格发文正式告别“默认开源”！网友：只剩中国 DeepSeek、通义和 Mistral 还在撑场面
Meta 首席执行官扎克伯格分享“个人超级智能”愿景，透露公司调整 AI 模型发布策略。此前 Meta 强调开源优势，如今态度转变，巨额投入后或暂停开源新模型，计划并行训练开源与闭源模型。
Karpathy加入Anthropic要做的事，被Google提前做了
Karpathy官宣加入Anthropic要组建新团队‘用Claude加速预训练研究’，话音未落，Google&Meta等发论文‘LLMs Improving LLMs’验证了该思路。论文让Claude Code搜索最优推理策略，结果全面超越人类设计。
从文心开源谈起，论大模型发展新生态
6月30日百度宣布开源ERNIE 4.5即文心4.5系列模型，实现预训练权重+推理代码完全开源。文心团队提出创新架构，增强多模态理解能力。今晚7:30，CSDN邀专家深度解读文心开源及行业趋势。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
突发！Opus 5.1被曝本周发布，最强AI智能体恐大洗牌
消息称Anthropic本周将发布Opus 5.1，其升级聚焦单Token智能水平，强化编程、推理、AI Agent能力；OpenAI 10万亿参数模型Bel完成预训练；企业选模型‘够用就好’，Anthropic Fable 5份额低。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
告别随机性：Thinking Machines Lab如何实现了LLM推理的完全确定性？
文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性，而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略，实验验证有效，还阐述其对训练、系统可靠性等方面的意义。