「预训练数据」共找到 3990 篇相关文章
五年，终于等来Transformers v5
Transformers v5发布首个RC版本v5.0.0rc0，跨越从v4到v5长达五年的技术周期。其日下载量从2万次激增至超300万次，总安装量突破12亿次。v5将PyTorch确立为唯一核心后端，聚焦四大维度进化。
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。
Being-VL的视觉BPE路线：把「看」和「说」真正统一起来
北大、UC San Diego 和 BeingBeyond 联合提出 Being-VL 的视觉 BPE 路线，先将图像离散化并「分词」，再与文本统一建模，能缩短跨模态链路、保留视觉结构先验，还介绍了实现步骤、训练方式等。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
Learn to Reason _ The way of Baichuan-M1-ClinicReasoning
前百川智能研究小组负责人阎栋分享大语言模型临床推理。回顾推理技术发展，以Deepseek为例；介绍百川在医疗推理实践，模型达三甲主治水平；还谈及大模型训练困境及与人类智能差异。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
腾讯开源WMT2025冠军大模型：拿下30个第一，同类最佳
昨晚腾讯开源WMT2025冠军翻译大模型Hunyuan - MT - 7B，它在31种语言测试中获30个第一，成同类最佳。文中介绍其架构、训练过程，还通过多场景翻译案例展现优势，有望推动高质量翻译普及。
首个3D动作游戏专用VLA模型，打黑神话&只狼超越人类玩家 | ICCV 2025
淘天集团未来生活实验室团队提出首个3D动作游戏专用VLA模型CombatVLA，已被ICCV 2025接收。它能处理视觉输入输出动作指令，在战斗理解准确率和执行速度上表现优异，还构建了评测基准等。
从捍卫者到引路人，上交&上海AI Lab提出LEGION：不仅是AI图像伪造克星，还能反哺生成模型进化？
AIGC技术发展使AI图像滥用问题严重，公众面临信任危机。上交与上海AI Lab等团队在论文中从构建数据集、设计模型、实现检测与生成统一三方面破局，LEGION能检测伪造，还可反哺生成模型进化。
腾讯AI Lab开源可复现的深度研究智能体，最大限度降低外部依赖
腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。