搜索：预训练数据精炼

「预训练数据精炼」共找到 3915 篇相关文章

源神阿里！图像生成Ovis-Image再开源，7B小参数媲美GPT-4o和20B开源模型

阿里Ovis团队发布Ovis - Image，7B参数文本到图像模型，在文本渲染任务媲美GPT - 4o和20B + 开源模型。它架构优化、数据工程精细、训练范式独特，实测数据表现佳，显存占用低、推理快。

焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。

具身智能中长程执行成关键问题，墨奇智能发布具身模型架构MoRA，提出Agentic - Native技术路线，让Agentic能力原生存在于策略模型中，还介绍了模型内部设计、所需数据等内容。

清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。

阿里Qwen3技术报告发布，披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构，预训练数据量和语种增多，后训练采用强到弱蒸馏提升性能，各模型表现优异。

深圳北理莫斯科大学人工智能研究院在ICCV发表FedPall算法，结合原型对比与对抗协作学习，在多种特征偏移数据集获SOTA性能。该算法通过多步骤训练缓解特征漂移，在多个公开数据集表现出色。

1.4亿《精灵宝可梦Go》玩家10年拍300亿张实景图，为Niantic免费收集数据。Niantic用此数据训练VPS视觉定位系统，提升机器人配送效率，还获巨额投资，剥离游戏业务专注空间AI。

本文邀请数势科技谭李和飞轮科技肖康探讨数据Agent。谈到懂业务的Agent特点、与传统BI差异，还提及数据库挑战及应用场景，指出Agent能激活数据、提升交互效率，未来将催生新角色。

jina-reranker-v3作为LLM时代向量模型，提出“最后但不晚”交互机制，解决文档检索效率与效果权衡、多语言文档重排性能与效率平衡、模型泛化能力和适应性等问题，架构与训练方案有创新。

文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。