4B 参数」共找到 2500 篇相关文章

8

Transformer终结者!谷歌DeepMind全新MoR架构问世,新一代魔王来了

KAIST、谷歌DeepMind等机构发布的MoR架构,推理速度翻倍、内存减半,重塑LLM性能边界,碾压传统Transformer。它融合参数共享与按需计算,有路由和KV缓存策略,实验显示其性能优越、可扩展性好。

新智元
算法论文8

如何将LLM的"思考习惯"迁移到视觉领域?

传统多模态模型处理复杂视觉推理能力不足,OVR团队以Qwen2.5 - VL - 7B为基础构建开源强化学习框架,成果模型OVR在12个基准测试刷新记录,揭示认知行为跨模态迁移三条黄金定律。

深度学习自然语言处理
新闻资讯7

Meta 再挖角4名OpenAI 华人研究员!网友:希望给的钱不要比Yann LeCun 多……

The Information报道,Meta再从OpenAI挖走四名关键华人研究员,这是第二波挖角。此前Meta刚斥巨资收购股份并挖来华裔CEO。此次挖角引发各方反应,也凸显AI人才竞争激烈。

AGI Hunt
算法论文8

更多thinking≠更好结果,精准thinking可砍掉一半长度

当前大模型如GPT - 4、DeepSeek推理又长又啰嗦,论文发现其在简单题目上过度推理。作者提出‘无效思考’概念,还给出解决原则,用LC - R1方法训练,效果显著,揭示精准思考才是王道。

深度学习自然语言处理
算法论文8

揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路

上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。

量子位
推荐文章7

一文看懂华为昇腾芯片

文章介绍华为昇腾芯片,它是面向高性能AI计算的NPU芯片,有昇腾310、910、610等系列。还提及芯片演进、参数、价格、出货量等情况,以及基于芯片的硬件体系,覆盖多场景满足不同需求。

芯师爷
新闻资讯7

天塌了,Claude 全面断供Windsurf!CEO喊冤控诉也挡不住开发者退订,祸起OpenAI收购?

当地时间6月4日,Anthropic切断Windsurf对Claude 3.x模型的直接访问权限。此前Anthropic也曾拒绝为Windsurf提供Claude 4系列模型支持。有观点认为这或与OpenAI收购Windsurf有关,目前双方未承认。

AI前线
产品应用8

告别卡脖子,华为黑科技破局!昇腾推理加速1.6倍打破LLM降智魔咒

大模型参数规模大,推理部署难。华为诺亚提出Pangu Light框架,结合算法创新与国产昇腾平台,通过跨层注意力剪枝等技术,解决剪枝后模型失稳问题,实现高压缩率、推理加速与高精度。

新智元
算法论文8

全新GPU高速互联设计,为大模型训练降本增效!北大/阶跃/曦智提出新一代高带宽域架构

随着大模型参数规模扩大,分布式训练成关键路径,高带宽域设计对提升训练效率至关重要。现有HBD架构在可扩展性、成本和容错能力等方面有局限,北大、阶跃、曦智团队提出InfiniteHBD架构解决问题。

量子位
算法论文7

ACL2025 | 代码助手火了,但安全吗?所有模型评估结果都很扎心

近期,GitHub Copilot、ChatGPT等AI代码生成工具爆火,效率显著提升,但代码安全性存疑。北大团队用CoV-Eval评测20款主流大模型,结果不佳,论文还给出优化方向,呼吁代码上线前严格测试。

深度学习自然语言处理