「参数壁垒」共找到 786 篇相关文章
一个模型超了DeepSeek R1、V3,参数671B,成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司,开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等,推理链比 DeepSeek R1 短 60%,训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
参数量暴降,精度反升!哈工大宾大联手打造点云分析新SOTA
哈工大(深圳)和宾大联合团队推出基于KANs的3D感知解决方案PointKAN,能处理点云数据下游任务。它替代MLP,有更强学习几何特征能力。还提出PointKAN - elite,降参保量。实验表现出色。
首次曝光!OpenAI新一代旗舰Astra换上“循环深度”推理架构:用计算深度换参数规模
9月2日消息,OpenAI将推出的旗舰模型Astra采用“循环深度”新技术,用较小模型实现庞大模型性能,降低成本。但该技术会让AI推理过程不可读,加重安全担忧,此前奥特曼已因Astra“能力过强”踩刹车。
跨越技术与法律的壁垒:AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准,构建含20个任务、10374个双语数据点的基准,评估17个主流模型,揭示现有模型在IP任务中局限。
谷歌开源Gemma 3n:2G内存就能跑,100亿参数内最强多模态模型
本周五凌晨,谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性,核心是 MatFormer 架构,还采用了 PLE 技术等,在多方面实现质量提升。
1B 参数跑出 2B 性能?面壁 MiniCPM5-1B 用 AI 自进化,提速 AGI 进程
全球AI行业陷入资源消耗战,面壁智能绕开物理瓶颈,提出“AI制造AI”路径。2026年5月25日发布MiniCPM5-1B,有越级性能、极致压缩比和均衡能力,源于“模型、框架、数据”自进化范式。
0.01%参数就能接近全量微调!低数据微调极致省参方案来了 | ACL'26
瑞典隆德大学与Google DeepMind团队研究大模型微调省参方案。发现低数据场景下,微调Value投影中的b(v)比b(q)或b(k)性能更好。该研究已被ACL 2026接收,集成进Hugging Face - PEFT库。
114B参数、6B激活,Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了
Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview,总参数114B,单次前向激活约6B,成本低效果好。该模型解决了视频生成Scaling难题,架构、系统设计出色,开源将改变行业规则。
MiniMax M2.5:230B参数仅激活10B,开源模型首次逼近Claude Sonnet,成本仅十分之一
MiniMax推出新一代开源模型M2.5,官方称其为‘为现实世界生产力设计的开源前沿模型’。性能逼近Claude Opus 4.6,采用混合专家架构,成本低。已在内部大规模部署,定位为‘AI员工’。
Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16
Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。