「预训练数据精炼」共找到 3959 篇相关文章
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
英伟达世界模型再进化，一个模型驱动所有机器人！机器人的GPT时刻真正到来
英伟达GEAR实验室提出DreamZero，是基于预训练视频扩散骨干网络的世界动作模型，有140亿参数，能让机器人通过文本提示完成未见任务。它解决了传统模型问题，在多方面表现出色，代码已开源。
OCR又出宠OpenDoc，速度超MinerU6倍
复旦开源的OpenOCR是面向通用OCR任务的开源平台，其OpenDoc是超轻量文档解析系统。它采用Pipeline模式，两阶段解析不易放大误差。UniRec - 0.1B有独特架构与分层监督训练等创新技术。
Z-Image标准版开源：更具可塑性的图像生成全能基座
Z-Image标准版开源，它是为开发者准备的强大画板，解决了生成模型同质化问题。其保留完整权重，在微调、风格化上潜力大，采用创新架构，训练定位SFT阶段，有完整CFG支持，还提供完善工具链。
这么哇塞的世界模型，竟然是开源的！
蚂蚁灵波开源通用世界模型LingBot-World，视觉效果与Genie 3不相上下且时间维度更长，能让用户深度参与，还具备一致性、记忆力等特点。它通过数据和模型层面创新炼成，结合此前开源成果构建具身智能基础设施。
科学界爆发AI认知污染！1年狂投50篇论文，ICLR投稿20%AI生成
如今AI正污染科学界，出现幽灵引用、虚假数据和图片等问题。论文工厂用模板量产造假论文，审稿人用AI应对，作者还用密令操控AI审稿。预印本平台投稿量暴涨，可能沦为垃圾场，引发认知污染。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
Manus高溢价收购背后，是Agent开发落地困境
近期Meta 20亿美元收购Manus引发关注，暴露Agent开发落地难题。阿里云百炼升级“1+2+N”体系，“N”组件解决数据、安全等问题，“2”提供新开发范式，“1”深挖模型服务工程，还发布企业版助力落地。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
以孔子命名，超越Claude 4.5 Opus，Meta发布工业级自我进化AI软件工程师CCA
Meta与哈佛联合推出工业级软件工程师CCA，它是一套让AI在工业级代码库协作的方法论，解决长上下文推理等难题。其三维解耦设计、精细记忆机制、自我进化能力获数据验证，还适合引入强化学习。