搜索：大模型预训练

「大模型预训练」共找到 9479 篇相关文章

deepseek-V4算法工程技术深入浅出

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

李飞飞创办的 World Labs 发布新一代世界模型 Atlas，称其为‘全球首个多模态世界模型’。它从零训练，能同时完成视频生成、3D 重建和时空模拟，已向少数伙伴开放测试，未来将成 Marble 底层模型。

5月6日报道国家大基金正洽谈领投DeepSeek首轮融资，估值约450亿美元。大基金此前未公开投资大模型公司，此次若落地是从“半导体硬件”向“AI应用端”延伸。2025年是中国AI芯片出货量关键年份，DeepSeek-V4发布，多家国产芯片品牌完成适配，但国产芯片仍面临性能、软件生态等挑战。

大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。

从GPT - 4o开启全能交互时代后，Speech LLM面临“模态推理鸿沟”问题，输入从文本变语音，推理能力显著衰退。港中深与微软联合提出TARS框架，通过三项创新解决此问题，实验显示推理能力100%复原。

麻省理工、英伟达等推出FoundationMotion，它是全自动数据生成流水线，能解决运动数据稀缺难题。通过自动标注生成问答数据，让小模型经微调后在运动理解上超越顶尖闭源模型，还介绍了其数据生成、问答设计等环节。

MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。

近期，DeepSeek发布DSpark，阶跃星辰发表JetSpec论文，二者聚焦大模型推理效率。DSpark关注验证效率，JetSpec从Draft生成本身入手。结果显示，二者都有加速效果，共同表明推理效率正成Agent落地关键变量。

传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。

中国基础大模型市场形成「基模五强」格局，包括字节、阿里、阶跃星辰、智谱和DeepSeek。它们要么有钱，要么有人，各有特色与优势。未来竞争焦点是追求更高「智能上限」和突破「多模态能力」，决战AGI。