搜索：小模型超越大模型

「小模型超越大模型」共找到 8258 篇相关文章

强化学习+大模型记忆：Mem-α，让智能体第一次学会“如何记忆”

在大语言模型发展中，‘记忆’是智能体具备长期智能的关键。现有外部记忆系统有局限，Mem-α将强化学习引入大模型记忆管理体系，解决记忆难题，在性能、泛化等多方面表现出色。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

今日凌晨阿里开源Qwen3-Embedding和Qwen3-Reranker两款新模型，专为文本表征等任务设计，支持119种语言。测试显示其性能出色，在多语言文本表征和排序任务中超越众多模型，还采用了多种创新设计与训练方法。

6月6日第七届智源大会，智源研究院推出全新「悟界」系列大模型，含原生多模态世界模型Emu3、脑科学多模态通用基础模型见微Brainμ等，反映其对大模型发展的研判，推动AI向物理世界迈进。

文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。

近日，微博发布自研开源大模型VibeThinker，15亿参数却在数学测试上击败6710亿参数的DeepSeek R1，后训练成本仅7800美元。其为AI产业带来新思考，还将推动微博AI应用发展。

新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。

本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank，在多个榜单击败多校和机构登榜首，其7B版本超越32B模型，论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

AI时代不止大语言模型，复合AI系统成共识。掌握各类模型特点对构建高质量AI应用关键，文章介绍了LLM、LCM、LAM等多种模型。