搜索：分层稀疏注意力

「分层稀疏注意力」共找到 442 篇相关文章

国产AI营销工具来了！工作流被Agent重构，营销物料一键即出

2026年营销与以往不同，传统营销困境重重，消费者注意力碎片化。巨量引擎推出「品星云AI营销新模式」，贯穿营销全链，有独家生态、硬核技术、体系协同优势，为AI营销产业级落地提供范本。

OpenClaw作为最大开源Agent框架，其Skill生态安全受关注。分享两篇论文，《Clawdrain》揭示Token耗尽攻击，《SkillFortify》提出形式化防御框架，从攻防维度揭示OpenClaw深层安全风险。

深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。

大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。

阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。

ComfyUI是Stable Diffusion生态中可视化编程工具，但使用有难度。ComfyUI - Copilot V2.0基于多智能体协作框架构建，能实现对话开发、报错修复等功能，还介绍了其架构、技术栈及多智能体设计思路等。

知识图谱（KGs）在认知智能系统中作用关键，知识图谱推理（KGR）能基于现有事实推断新知识。文章综述了3种知识图谱类型、6大推理任务，介绍推理方法、应用，还指出KGR面临的挑战与机遇。

在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。

华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。

2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next，它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持，模型架构多方面升级，亮点众多，还给出启动命令及配置建议参考。