「预训练数据」共找到 3961 篇相关文章
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
对抗协作+原型学习！深北莫FedPall开源，联邦学习破局特征漂移，准确率登顶SOTA
深圳北理莫斯科大学人工智能研究院在ICCV发表FedPall算法，结合原型对比与对抗协作学习，在多种特征偏移数据集获SOTA性能。该算法通过多步骤训练缓解特征漂移，在多个公开数据集表现出色。
1.4亿宝可梦玩家，都在给AI免费打工…
1.4亿《精灵宝可梦Go》玩家10年拍300亿张实景图，为Niantic免费收集数据。Niantic用此数据训练VPS视觉定位系统，提升机器人配送效率，还获巨额投资，剥离游戏业务专注空间AI。
Data Agent如何帮助企业打造懂你的“电子牛马”？｜数势xSelectDB
本文邀请数势科技谭李和飞轮科技肖康探讨数据Agent。谈到懂业务的Agent特点、与传统BI差异，还提及数据库挑战及应用场景，指出Agent能激活数据、提升交互效率，未来将催生新角色。
一张俯视图，竟然能生成完整3D小镇？
获取高质量3D场景成本高、耗时长，现有3D生成模型扩展到完整场景生成时问题多。加州大学提出无需训练的3DTown框架，能从单张俯视图合成真实连贯3D场景，虽有挑战但表现优于基线方法。
jina-reranker-v3刷新全球重排榜，效率狂飙4.79%
jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。
大模型微调知识与实践分享
文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
杭州跑出的AI独角兽，突围大模型的“第二战场” | 甲子光年
2025年AI行业有转变，算力堆叠对大语言模型性能提升放缓，空间智能成“第二战场”。谷歌、英伟达等巨头纷纷布局，群核科技作为杭州“变量”，发布业界首个3D室内空间大模型，构建数据飞轮，技术有望落地多领域。
刚刚，国产AI自己造了AI，全球首例！
面壁智能实现全球首例国产AI造AI，用AI编写预训练框架ForgeTrain，性能超英伟达Megatron，还训练出MiniCPM5 - 1B模型。该模型可作桌宠，小尺寸高智能，还能自定义人格，提供工具链。