搜索：稀疏注意力架构

「稀疏注意力架构」共找到 2043 篇相关文章

开源RAG又添新军！港大开源多模态RAG神器，多文档格式统一解析、知识图谱索引与混合检索！

在AI信息检索领域，传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything，可提供端到端解决方案，能多格式解析、构建知识图谱和混合检索，优势显著。

国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升，支持更高分辨率，在多领域表现出色，还介绍了模型组成与优化器改进。

在视觉内容需求旺盛的当下，背景抠图工具至关重要。Rembg 是能在本地完成高质量图片背景抠图的开源利器，累积 19.1K ⭐。本文通过项目详解等带你深度了解它的魅力。

面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。

在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。

近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。

在 AICon 大会上，智源研究院周华分享大模型行业应用。分析落地问题，提出以大模型为核心的技术路径，涵盖数据、训练等环节，还给出数据生产流程建议，分享最新开源成果。

Teable是基于PostgreSQL的无代码数据库平台，被赞为Airtable开源替代潜力股。它有百万级数据秒级响应等亮点，具备独特技术架构，适用于多场景，与同类对比优势明显。

文章聚焦构建私有AI Coding平台，对比Pi、DeepSeek Harness、Codex Harness的架构、扩展能力及选型策略。介绍三者交互集成方式，分析其扩展特点，并为不同需求团队给出选择建议。

大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。