搜索：万亿参数模型

「万亿参数模型」共找到 7815 篇相关文章

Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺

Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。

面壁智能等发布 MiniCPM-o 4.5 技术报告，开放全双工全模态 API。该模型 9B 参数，RTX5070 可实时运行，下载量超 25 万。报告披露 Omni - Flow 框架，模型性能强，还能催生新应用。

几千人盲投中，Kimi K2超越DeepSeek成全球开源第一，总榜第五紧追顶尖闭源模型。虽有人质疑其采用DeepSeek V3架构，但团队称有参数调整。当下开源模型崛起，正打破性能弱的刻板印象。

DeepSeek新论文《Conditional Memory via Scalable Lookup》提出Engram模块，指出大模型用计算模拟查字典是浪费算力，Engram能给模型装“记忆”，还发现参数分配呈U型缩放定律，推理和长上下文能力提升显著。

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。

BIGAI与中科大等团队提出MILR，通过测试时隐空间推理，在不更新模型参数下优化图文表示，提升复杂图像生成能力。该方法在多基准测试达SOTA，还探讨了测试时扩展与奖励模型，未来有诸多拓展方向。

蚂蚁百灵新一代模型Ling-3.0开源，有flash和tiny两版本。Ling-3.0-flash参数量124B，智效比13.2，输出快成本低；Ling-3.0-tiny参数量7.9B，激活少且适用多场景，二者都极致挖掘模型效率。

春节期间 Seedance 2.0 爆火，字节跳动等开源视频模型 Helios 家族，参数量 14B，单卡生成速度达 19.5 FPS。它与 UniWorld-OSP2.0 技术栈同源，后者是超百亿级视频生成大模型，有诸多技术突破。