「双预训练架构」共找到 3618 篇相关文章
智谱AI、清华开源新视觉大模型：刷新41项纪录，同级别最强
智谱AI与清华联合开源GLM - 4.5V视觉大模型，它基于GLM - 4.5 - Air开发，架构独特。在42项主流测试中创41项新纪录，多领域表现超Qwen2.5 - VL等模型，还采用新训练策略。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
老黄杀入OpenClaw战场！最强开源「龙虾」模型直逼Opus 4.6
英伟达推出新一代开源模型Nemotron 3 Super，专为大规模AI智能体打造，有1200亿参数，推理快、吞吐量高，性能直逼Claude Opus 4.6等。它解决了Agent应用的难题，还开源了相关数据和训练方法。此外，英伟达还在打造NemoClaw开源AI智能体平台。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。
究竟会花落谁家？DeepSeek最新大模型瞄准了下一代国产AI芯片
近期，DeepSeek发布V3.1新模型，采用全新混合推理架构，在多任务表现上有提升。它采用UE8M0 FP8，或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8，未来国产大模型或针对其专门优化。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。