「模型结构创新」共找到 8515 篇相关文章
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
AI终点不是算法，而是业务成果 | 云徙科技@MEET2026
大模型时代，基础模型参数规模不断增大，但企业核心业务中AI真实渗透率低。云徙科技执行总裁毛健认为，AI终点是业务成果，应是‘运营×AI’，还指出AI跃迁为业务主体面临四重鸿沟，云徙科技提出破局方法并分享落地案例。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
VLA进化后降维打击！双手拣货，漂移操作，还能批量化秀舞，太空舱直接开上街，被银河通用卷到了
世界机器人大会上，银河通用的人形机器人Galbot在具身智能小卖部营业，背后是自研端到端具身智能大模型。其与英伟达联合首发的机器人应用表现出色，太空舱也在北京首发，适配多场景，具身大模型商用能力获认可。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
a16z 合伙人：AI 正将 10 倍工程师“降级”为 2 倍！应用层已无技术护城河，未来在基础设施和业务深耕
Andreessen Horowitz (a16z) 的合伙人 Martin Casado 在对话中指出，当前AI大模型竞争格局似当年云计算大战，寡头垄断将降临。他还谈到AI对开发者、投资决策、市场格局的影响，以及对AI安全、开源等问题的看法。
银河通用WRC首发英伟达Thor，银河太空舱世界首创城市级机器人应用
全球首个城市级常态化运营的人形机器人示范区落地北京。银河通用具身大模型机器人Galbot依托大模型实现精准商品识别与取送，还展示了多场景应用能力。其银河太空舱开启‘十城百店’计划，推动具身智能服务普及。
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。