搜索：小模型超越大模型

「小模型超越大模型」共找到 8258 篇相关文章

领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

面壁智能联合多方开发的2B小模型VoxCPM 2于4月开源，支持30种语言与9大方言，能实现声音克隆、情绪控制、音色设计等功能。实测显示其能力出色，还提供全家桶级工具箱，采用独特技术路线。

OpenAI研究员官宣其内部研发的AI推理系统在2025年国际信息学奥林匹克竞赛获金牌，超越98%人类选手。该系统在模拟人类环境下靠推理解题，用通用模型，一年间成绩大逆转，近期在多赛事表现出色。

文章介绍开源项目NeuTTS Air，它是免费、轻量级超逼真语音合成模型，仅0.5B参数，媲美商用TTS引擎，能在低功耗设备运行，支持3秒音频克隆声音，还给出使用步骤和应用场景。

大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。

几千人盲投中，Kimi K2超越DeepSeek成全球开源第一，总榜第五紧追顶尖闭源模型。虽有人质疑其采用DeepSeek V3架构，但团队称有参数调整。当下开源模型崛起，正打破性能弱的刻板印象。

丰田研究院（TRI）团队研究大型行为模型（LBM），在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著，预训练小数据量也能带来增益，预示机器人通用大模型或到来。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。

多语言大模型面临语言选择难题，现有跨语言推理方法存在缺陷。新加坡研究团队推出AdaMCoT框架，通过自适应路由机制动态选语言推理，提升跨语言事实推理准确性与一致性，效果超越传统方法。