「Attention性能瓶颈」共找到 2427 篇相关文章
Nature报道：谷歌新模型1秒读懂DNA变异！首次统一基因组全任务，性能碾压现有模型
谷歌DeepMind团队推出生物模型AlphaGenome，能从1兆碱基DNA序列中预测数千种功能基因组特征，评估变异效应。它统一多任务，性能超现有模型，是生物领域里程碑，将助力理解疾病。
都在卷「让大模型多循环几遍」，这个7B模型LoopCoder v2说：多循环 1 次就够了
当下推理模型流行在测试时多循环，以打磨答案。但新研究发现，7B模型LoopCoder v2只多循环1次（共2次），就能大幅提升性能，继续增加循环次数，性能反而下降。研究还分析了收益与成本，给出选择循环次数的诊断方法。
NUS LV Lab新作｜FeRA：基于「频域能量」动态路由，打破扩散模型微调的静态瓶颈
在大模型时代，参数高效微调（PEFT）已成为迁移大规模扩散模型至下游任务的标准范式。但现有微调方法多采用「静态」策略，忽略扩散生成过程内在规律。新加坡国立大学LV Lab等机构提出FeRA框架，通过频域能量动态路由，实现高效微调。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
韩松等提出FlashMoBA，比MoBA快7.4倍，序列扩到512K也不会溢出
今年2月月之暗面提出MoBA，在处理长上下文有潜力，但业界缺乏对其性能设计原则的理解和高效GPU实现。来自MIT、NVIDIA的研究者提出FlashMoBA，解决了小块MoBA性能挑战，实验显示其在多方面表现优。
RAG性能优化：基于RAGFlow自定义解析工具实现文本结构化（含源码教学）
文章围绕RAG性能优化展开，指出RAGFlow框架中DeepDoc解析算法不足，介绍开源与商业化解析工具优劣势及API调用和本地部署特点，推荐TextIn xParse，给出RAGFlow+TextIn知识库构建方法，还探讨了RAG优化方案。
一边秀肌肉，一边设围墙，NVIDIA 发布 OmniVinci，性能碾压 Qwen2.5-Omni，却被骂“假开源”
NVIDIA 推出多模态大语言模型 OmniVinci，结合架构创新与数据合成流水线，训练 token 仅为 Qwen2.5 - Omni 的六分之一，却在多项基准测试表现更佳。但采用限制商业用途的许可证，引发争议。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
Python语言从2.7到3.14的能力变化与演进逻辑
文章从编程风格、类库生态、性能优化等多维度，阐述Python从2.7到3.14版本的能力变化与演进逻辑。如编程风格现现代化转型，类库生态战略性调整，性能优化有突破性进展等，还分析了演进背后的推动力及未来趋势。