搜索：小模型推理能力

「小模型推理能力」共找到 9232 篇相关文章

领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

面壁智能联合多方开发的2B小模型VoxCPM 2于4月开源，支持30种语言与9大方言，能实现声音克隆、情绪控制、音色设计等功能。实测显示其能力出色，还提供全家桶级工具箱，采用独特技术路线。

OpenAI等支持新研究论文，其指出高级AI不透明性有潜在风险，而‘推理模型’用自然语言推理带来可解释窗口，CoT监控可检测不当行为、发现早期信号等，但也存在使监控性下降的因素。

英伟达研究者提出GenCluster框架提升开源LLM解题能力，让开源模型gpt - oss - 120b在IOI 2025获金牌级别高分。它执行‘海选+筛选+比拼+提交’流程，优势明显，标志开源AI里程碑式突破。

2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。

大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。

上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。

硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。

蚂蚁集团联合团队发布《MedResearcher-R1: Expert-Level Medical Deep Researcher》报告，其医学AI智能体MedResearcher-R1用2100条训练样本在医疗基准测试反超通用大模型，靠数据、工具、训练方法三大创新实现突破。

近日，德国AI咨询公司TNG推出的「DeepSeek R1T2」模型火了，速度比R1快20%，性能不弱于R1。它采用AoE技术，融合官方三大模型，开源且在Hugging Face开放权重，获不少人期待。