搜索：小参数量模型

「小参数量模型」共找到 8194 篇相关文章

让外部知识“长入”模型：动态化与参数化 RAG 技术探索

检索增强生成（RAG）成大语言模型利用外部知识主流范式，但传统方法将其当黑箱，忽略动态需求和机制鸿沟。艾清遥博士介绍动态化和参数化检索增强技术，可提升准确性与适应性，减少计算开销。

10月14日凌晨，蚂蚁万亿级思考模型Ring-1T正式登场，这是全球首个开源的万亿参数思考模型。它在多项基准测试中表现出色，数学能力达IMO银牌水平，还展示了强大的代码、推理、写作等能力，其背后是IcePop算法与ASystem框架的支撑。

向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。

2025年12月16日小米开源旗舰大模型MiMo - V2 - Flash，参数3090亿。它有独创‘按需激活’机制，推理成本低。采用MIT协议，价格亲民，构建全栈开源矩阵，在编程、长文本处理等领域表现出色。

京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。

Mistral AI第三代模型发布，含三个小型密集模型和稀疏混合专家模型Mistral Large 3，全用Apache 2.0许可。有多项技术亮点，Ollama等支持部署微调，还给出实用配置建议。

腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。

百度PaddleOCR-VL模型仅0.9B参数，在OmniDocBench V1.5榜单获92.6分全球第一，在多能力维度达业界最佳，能处理109种语言。其采用两阶段架构，结合优质训练数据，实现高性能与低内存、快速度的平衡。

大模型时代开发者算力焦虑严重，谷歌Gemma 3系列另辟蹊径。新成员Gemma 3 270M参数规模小但性能强，如在IFEval测试表现突出，有小体积强架构、省电等亮点，适用于多场景。

传统小目标检测问题多，2026年4月FSDETR论文提出频空融合法，用14.7M参数获13.9% APS成绩。它有SHAB、DA - AIFI、FSFPN三个核心模块，还给出训练、推理及导出ONNX部署代码。