「稀疏注意力模型」共找到 7755 篇相关文章
普林斯顿团队领衔发布最强开源数学定理证明模型：32B性能大幅超越前代SOTA DeepSeek 671B
近日，普林斯顿大学牵头多机构推出开源数学定理证明模型 Goedel-Prover-V2。其 32B 旗舰模型在多基准测试超 DeepSeek-Prover-V2-671B，8B 小模型特定基准性能与之持平。该模型有三项关键创新，团队已公开模型及数据集。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
AI 的下一个战场：端侧模型崛起
大模型退烧，小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果，英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔，但技术含量不低，面壁智能在端侧模型探索上成果丰硕，其 MiniCPM 系列不断迭代，还在多领域落地。
MiniCPM 4.0极速狂飙，端侧模型的比赛，结束了！
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有InfLLM v2、CPM.cu等创新，基准测试碾压对手，适配全平台，还有科研、工具调用等功能，标志端侧长文本时代到来。
LeCun离职后不止创一份业！押注与大模型不同的路线，加入硅谷初创董事会
离开Meta后，Yann LeCun创立AMI，还加入Logical Intelligence任技术研究委员会主席。该公司推能量 - 推理模型，与主流大模型路线不同，其Kona模型在数独测试上表现远超大模型。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
架构彻底重构！DeepSeek新模型代码曝光，要来的V4让国内外都坐不住了？
DeepSeek官方GitHub代码库曝光代号“MODEL1”新模型线索，或为V4内部代号。代码显示其有重大架构变更，能并行处理稀疏与稠密计算，适配英伟达新架构。此前R1发布推动中国AI开源生态发展，新模型备受期待。
2025 年中丨大模型市场分析报告
这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。
告别单一大模型依赖！北航等机构发布综述：大语言模型集成（LLM Ensemble）
北航等机构发布的论文系统性回顾了LLM Ensemble领域进展，介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势，现有推理前、中、后三大集成范式。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队，从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上表现优于传统算法。