「预训练策略」共找到 2847 篇相关文章
刚刚，中国AI闯入全球编程前二！前面只剩Claude
Code Arena最新榜单出炉，Qwen3.7 - Max以1541分冲进全球第四，是前五中唯一非Claude模型。它在多项测试中表现出色，是为长时间自主执行任务设计的Agent基座模型，编程跃升或与环境扩展、长程自主执行训练方法升级有关。
解析科大讯飞：把AI做成懂你的那一个｜甲子光年
2025年中美AI发展路径分化，中国企业探索本土商业化道路。科大讯飞董事长刘庆峰提出自主可控、软硬一体、行业纵深、个性化四个关键词。其用华为昇腾芯片训练出可商用大模型，在多领域展现优势，还发布新功能和产品，为AI商业化提供“中国答案”。
小扎「梦之队」首批论文上线！LLM自举进化，单步性能狂飙22%
Meta超级实验室MSL新论文探索用强化学习微调大语言模型。提出探索迭代（ExIt）法，基于RL自动课程学习，训练仅需单步任务，模型学会多步自我改进。在MLE - bench上，ExIt相对GRPO提升约22%。
谷歌迎来“DeepSeek时刻”！TurboQuant引爆AI圈、全球开发者疯狂复现：6倍无损压缩，内存股集体暴跌
谷歌研究院发布 TurboQuant 压缩算法，能在提升速度、保持准确性的同时，降低大语言模型内存占用，可将键值缓存压缩至少 6 倍，速度最高提升 8 倍。该技术无需额外训练，精度零损失。目前虽未大规模部署，但已引发内存股下跌。
拒绝视频生成，深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。
马斯克麾下最惨打工人：手滑删掉xAI三周训练数据
xAI一名员工在数据迁移时误删了2到3周的核心训练数据，这或为Grok重组震荡后遗症。xAI为追Claude等，采取喂Cursor数据、自研V9等策略，还曾借道访问竞品模型。如今xAI把算力租给对手变现。
生成式推荐补上关键一环！语义ID首次实现可微分联合优化 | SIGIR'26
生成式推荐依赖语义ID，可现有语义ID常先学好再冻结，与推荐目标不一致。论文DIGER首次将可微分语义索引机制引入生成式推荐框架，让推荐损失参与语义ID学习，还设计策略解决训练问题，实验表现佳。
GLM-5正式发布，744B参数，对标Claude
GLM-5正式发布，对标Claude，参数从355B扩至744B，预训练数据增加。采用GlmMoeDsa架构，部署成本降低。数据表现佳，在多测试中成绩亮眼，还能直输Office文档，部署支持多框架和国产芯片，早期反馈积极。
Gemini 2.5 Pro 负责人：最强百万上下文，做好了能解锁很多应用场景
谷歌DeepMind长上下文预训练联合负责人Nikolay Savinov在播客中分享Gemini 2.5长上下文技术。他认为长上下文能革新产品交互，与RAG协同，未来千万级token上下文将成标配，但当前百万级未达完美时扩规模意义不大。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。