搜索：大模型预训练

「大模型预训练」共找到 9654 篇相关文章

Ray异构融合底座重构数据管道：架构演进与万卡落地实践

文章指出大模型发展下，传统大数据引擎在多模态数据处理局限性凸显。腾讯基于Ray构建新一代数据管道，介绍了云原生调度与计算范式融合架构，详述容错、资源利用等方面优化实践，展示了重构收益。

斯坦福华人博士赵子豪与迟宬创业推出家务机器人Memo，售价2万美元。它能完成多项家务，依赖ACT - 1具身模型，该模型用技能捕捉手套采集人类数据训练，用户还能教它新本领，预计2026年正式推出。

南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。

本期五源小酒馆邀请三位年轻AI Native创造者，分享AI学习与创造经历。他们谈及AI对生活工作的改变、关注的产品及模型，探讨资源分配、AGI突破等问题，还交流了未来能力培养和给十年后自己的话。

Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。

现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。

阿里Qwen团队开源Qwen3.8-27B，上线2天登顶Hugging Face全球大模型趋势榜，下载破百万。其性能超Opus4.6，与顶尖模型相当，量化后普通电脑就能跑，原生多模态，编程、Agent、多模态跑分表现出色。

这篇创新研究介绍了LoRI技术，证明即使大幅减少LoRA的可训练参数，模型性能依然强劲。研究团队在多个任务上测试了LoRI，发现仅训练LoRA参数的5%，LoRI就能匹配或超越其他方法的性能。

面壁智能等联合发布MiniCPM-o 4.5技术报告，公开Omni-Flow流式全模态框架。该模型凭9B参数实现端到端全双工全模态，可在消费级显卡运行，还推出在线体验Demo等，性能表现佳，应用潜力大。

作者分享 Vibe Engineering 实践体会，指出当前认知很快过时，因 AI 编程工具和模型进步大。还对比了 Opus 4.5、GPT - 5.2 等模型，阐述人在开发各阶段角色，介绍多 Agent 协同实践及未来软件公司组织形态变化。