算法论文8
韩松等:FlashMoBA比MoBA快7.4倍,序列扩至512K不溢出
机器之心
AI 摘要
MIT、NVIDIA研究者针对MoBA应用局限提出FlashMoBA。它用三个融合内核克服小块MoBA性能挑战。实验表明,小块尺寸能提升MoBA性能,FlashMoBA比原始MoBA快7.4倍,序列扩到512K也不溢出。
阅读原文 · 机器之心
韩松等提出FlashMoBA,比MoBA快7.4倍,序列扩到512K也不会溢出
今年2月月之暗面提出MoBA,在处理长上下文有潜力,但业界缺乏对其性能设计原则的理解和高效GPU实现。来自MIT、NVIDIA的研究者提出FlashMoBA,解决了小块MoBA性能挑战,实验显示其在多方面表现优。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
字节发现DeepSeek弱点 实测V4.1结果不同
本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点,作者复刻实验实测现役DeepSeek V4.1-Flash,讨论了长上下文评测的盲区,新版本弱点已明显减轻。
AI科技评论
算法论文8
RDA - YOLO:极端天气下绝缘子缺陷检测利器
文章指出传统绝缘子检测方法面临人工巡检效率低、小目标检测难等挑战,现有YOLO系列算法也有局限。为此提出RDA - YOLO网络,在YOLOv8基础上有三项创新,实验显示其精度、速度和极端天气鲁棒性表现出色。
机器学习AI算法工程
7
Transformer发明人辩论架构未来
5月5日旧金山的辩论赛上,Transformer联合发明人Łukasz Kaiser为其作品辩护,三位挑战者指出Transformer五大死穴。Kaiser称除非新架构证明有更好的scaling曲线,否则Transformer仍是主流,还给出具体辩护。
新智元
算法论文8
英伟达INTRA:颠覆RAG外部检索认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作,存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示,训练量小,在多跳QA上超越多种检索基线。
PaperAgent