搜索：混合架构模型

「混合架构模型」共找到 8550 篇相关文章

SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用

Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。

大模型退烧，小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果，英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔，但技术含量不低，面壁智能在端侧模型探索上成果丰硕，其 MiniCPM 系列不断迭代，还在多领域落地。

AI图像编辑中扩散模型有两大难题，智象未来团队提出全新自回归图像编辑框架VAREdit，引入视觉自回归架构，提升编辑精准度与速度。模型和代码已开源，还提出SAR模块优化，在基准测试表现出色。

文章围绕Coding Agent展开，介绍其构成、构建Harness的挑战，还阐述Codex作为集成系统优势、使用方式及未来发展。强调将模型与Harness共同开发，能更好理解模型行为，Codex可助力构建差异化产品。

微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。

离开Meta后，Yann LeCun创立AMI，还加入Logical Intelligence任技术研究委员会主席。该公司推能量 - 推理模型，与主流大模型路线不同，其Kona模型在数独测试上表现远超大模型。

面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。

在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。

智谱以匿名方式将GLM - 5放到OpenRouter公测，其表现亮眼。在AI编程从Vibe Coding转向Agentic Engineering的背景下，GLM - 5参数规模提升，成绩优异，实测决策有架构师思路，持久力强，不再只是‘平替’。

英伟达在华盛顿GTC大会开源OmniVinci全模态大语言模型，实现视觉、音频、语言统一理解。它性能超竞品，架构有创新，数据引擎庞大。实验有重要洞察，在多场景表现佳，代表全新AI范式。