「分支注意力」共找到 260 篇相关文章
社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。
反超Gemini之后,Karpo新作再开源,浏览器Agent速效双赢
MachinePulse 开源了 Karpo Decision 系列决策模型与浏览器框架,专为高频判断设计,无需逐字生成而直接输出概率,千次决策成本约 0.025 美元。
ACL 2026 | LCA:DeepSeek 长文本加速神器,90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力(LCA),入选 ACL 2026。LCA 突破传统注意力机制瓶颈,适配不同大模型,降低硬件门槛与成本,提升推理效率。论文与代码已开源。
治好多模态近视和走神!上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题,总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预,无需增加计算成本,却能显著提升主流模型视觉理解能力。
一文读懂DeepSeek-V3.2核心技术DSA:API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2,引入自研稀疏注意力机制DSA,API价格最高降75%。DSA先筛选后计算,含闪电索引器和稀疏多潜在注意力两组件,分四步工作,权衡了精确性与速度。
FlashAttention-4震撼来袭,原生支持Blackwell GPU,英伟达的护城河更深了?
在 Hot Chips 2025 上,TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4,其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%,还实现两项算法改进。该技术一直迭代升级,提升了注意力计算效率。
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。
浙大提出Translution:统一Self-attention和Convolution,ViT、GPT架构迎来新一轮性能突破
近日,浙大与新加坡国立大学提出新型深度神经网络基础操作Translution,融合Self - Attention与Convolution优势,实现二者统一。基于它构建的网络在ViT和GPT架构下性能提升,但对算力要求更高。
AI开始逆向一切,你电脑里的每个软件都要被迫开源了。
本文从开发者用AI逆向重写Adobe全家桶开源的热点事件切入,介绍AI大幅降低逆向工程成本的行业新趋势,分析其对软件行业商业模式的冲击,探讨AI时代产品的护城河问题。
陶大程技术博客首发:从像素复刻到行动控制,具身世界模型的底层逻辑探索|甲子光年
今年世界模型成AI热点,通用世界模型追求像素逼真,具身世界模型不同,其使命是支撑行动。文章拆解具身世界模型底层逻辑,分享开悟世界模型的技术设计与实践思考。