「密集注意力」共找到 247 篇相关文章
静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。
CVPR2026满分论文:Proxy-GS为结构化3D高斯溅射引入统一遮挡先验
上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS,面向基于MLP的结构化3D高斯溅射,用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用,在遮挡密集场景实现渲染加速,画质与速度均优。
GLM-5登顶开源模型No.1!智力指数首破50大关,打平Opus 4.5
在Artificial Analysis评测中,GLM - 5成开源权重模型智力排名第一,是首个智力指数破50的开源模型,除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力,参数规模大,擅长“搞钱”任务,幻觉率低且输出精简。
AI眼镜:又怕小米做,又怕小米不做
过去一年AI眼镜产品密集落地,小米和Rokid跻身全球出货量前三。市场处于“又怕小米做,又怕小米不做”的微妙氛围,大厂试水但未全力投入,给中小厂商留下建立技术壁垒的窗口期,显示技术或成首个分水岭。
华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍
新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。
新天终启,万象智生!从AlphaGo到GPT-5,新智元十年见证ASI创世纪
2025年9月7日新智元举办十周年峰会,主题为「新天终启,万象智生」,汇聚多位重量级嘉宾探讨AI前沿突破。当下AI发展迅猛,大模型密集发布,如OpenAI的GPT - 5、谷歌的Gemini 2.5等,中国造大模型也在开源领域领先。
新天终启,万象智生!从AlphaGo到GPT-5,新智元十年见证ASI创世纪
2025年AI迈向ASI,新智元迎十周年,9月7日将在北京举办峰会。众多大咖齐聚,探讨芯片、大模型等前沿突破。今年大模型发布密集,如OpenAI、谷歌等有新成果,中国造大模型也表现出色,未来智能体等将爆发。