「MoE层」共找到 450 篇相关文章
暴涨3倍!18-34岁占比反降15%:这届中年人开始占领AI
数字数据公司Similarweb发布《2025生成式AI全景报告》。显示全球GenAI平台访问量、App下载量增长,用户年龄层拓宽。ChatGPT跻身全球前五,与谷歌等形成新生态,市场走向多元,AI应用场景不断拓展。
CVPR2026 | 鬼手想点谁就点谁?LaSM让GUI智能体把注意力「收回来」
文章聚焦弹窗式环境注入攻击,指出多模态智能体易受环境干扰致目标漂移。提出 LaSM 方法,通过放缩关键层权重让智能体注意力回到任务,实验显示其提升防御效果,且对正常任务影响小。
月吞100万亿Token!AI中转站OpenRouter赚爆了
OpenRouter宣布完成1.13亿美元B轮融资,估值达13亿美元。它每周处理25万亿个tokens,全球用户超800万。其提供AI推理统一控制层,解决企业多模型管理难题,开源模型崛起使其价值凸显。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。
具身智能威胁分析的分层方法和全景图
文章指出具身人工智能应用广泛,安全需求迫切,但现有研究鲜少涉及具身化场景。复旦大学等组织分析400多篇论文,提出具身智能威胁分析全景,介绍各层攻击方法、危害及防护措施。
梁文锋署名新论文,DeepSeek V4架构首曝?直击Transformer致命缺陷
新智元报道,梁文锋署名的DeepSeek新论文提出全新Engram模块,解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴,通过Engram模块实现近似O(1)的确定性知识查找,或成稀疏LLM主流路线,下一代V4可能集成该方法。
AI产业链投资大逻辑:第六集
本集聚焦AI产业链应用层悖论。应用层离用户近、故事性感,但现阶段易让投资者犯错。虽有诸多火热产品且公司估值高,但‘创造价值’与投资者‘以好价格买价值’并非一回事。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文,解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点,像DeepSeek V3用MLA和MoE提升效率,还探讨线性注意力复兴等趋势。
英伟达GPU,将沦为白菜价
硅谷投资大佬Peter Thiel称AI芯片最终会成白菜价。当前英伟达靠垄断赚大钱,但AMD、ASIC、TPU、Trainium等正围剿它,利润将从硬件层转移到应用层,英伟达可能慢慢走下坡路。
Qwen-lmage-Layered:图片分层 指哪改哪
全新图像生成模型Qwen-lmage-Layered采用自研架构,将图片“拆解”成多个图层,各图层可独立操作。其提出新编辑思路,有RGBA - VAE等亮点,支持灵活迭代分解,能实现精准高效的图像编辑。