「小语言模型」共找到 8246 篇相关文章
Meta开源史上最强语音“基座模型”：一口气支持1600+种语言
Meta AI FAIR团队发布Omnilingual ASR模型套件，能为超1600种语言提供自动语音识别能力。它引入新架构提升性能，改变引入新语言范式，还发布相关数据集和模型，与全球伙伴合作。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
英伟达韩松团队新作：具有后神经架构搜索的高效语言模型
英伟达韩松团队推出基于后神经架构搜索的高效语言模型Jet - Nemotron，在基准测试中表现出色，准确率与Qwen3等相当甚至更优，生成吞吐量大幅加速。模型构建经多步骤优化，代码和预训练模型将开源。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
里程碑时刻！首个100B扩散语言模型来了，技术报告揭秘背后细节
蚂蚁集团与高校联合团队推出 LLaDA2.0 系列扩散语言模型，其中 LLaDA2.0 - flash 参数量达 100B。技术报告披露细节，其解决了 dLLM 做大做强难题，性能比肩 AR 模型，为扩散模型工业化带来转机。
突破LLM数据瓶颈：Meta等提出语言自我博弈，一台模型，两个角色，无限进化
Meta等团队提出“语言自我博弈”（LSP）框架，让语言模型自己和自己“玩游戏”，在无外部数据输入下自我改进。实验显示，其性能可媲美甚至超越用大量人类数据训练的模型，为缓解数据稀缺提供新思路。
同一天两件大事！小模型直接掀翻千亿参数，走向效率为王
5月13日AI圈有两件大事，何恺明团队发布语言模型ELF，面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’，拉开AI轻量化浪潮序幕，未来小模型或成关注方向。
北大联手通义实验室发布ZeroSearch：成本暴降88%，无需搜索即可激活大语言模型的检索能力！
北大与通义实验室发布ZeroSearch框架，可无需真实搜索激活大语言模型检索能力。它引入大语言模型模拟搜索、采用结构化模板等策略，成本降88%，多项实验显示其性能超越基线与真实搜索方法。