搜索：大模型架构图

「大模型架构图」共找到 9813 篇相关文章

解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law

自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。

阿里云智能集团瓴羊高级技术专家王璟尧，介绍阿里云 Quick BI 从传统 BI 到 AI 驱动的智能 BI 的进化，解析领域大模型与 BI 引擎协同设计等技术权衡，为行业提供可复用技术范式。

中国AI独角兽MiniMax发布模型M2，刷新开源SOTA。它采用混合专家架构，平衡了智能、速度和成本。在多个权威测试中表现优异，价格仅为Claude 3.5 Sonnet的8%，还提供多种部署方式和限时免费服务。

基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。

2025年12月16日小米开源旗舰大模型MiMo - V2 - Flash，参数3090亿。它有独创‘按需激活’机制，推理成本低。采用MIT协议，价格亲民，构建全栈开源矩阵，在编程、长文本处理等领域表现出色。

智能眼镜要么不够智能，要么不像眼镜，李未可科技CEO茹忆认为AI要成第一响应者。该公司推三款AI眼镜，搭载自研系统。其自研AI大模型系统，是为交付难复制AI体验闭环，解决通用API不足等问题。

大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。

新智元报道，OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」，将传统数值修正转为「预防式」约束优化。它提出新范式，为训练大模型提供新思路，还介绍了流形优化器及相关算法。

在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。

OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。