「混合注意力机制」共找到 1183 篇相关文章
港大开源 Paper2Slides，一条命令，把论文变成专业幻灯片！
在AI辅助办公赛道，PPT生成一直是竞争热点，但存在好看不好用、好用不准确的问题。港大开源的Paper2Slides项目，能一条命令把论文转成专业幻灯片，还能做海报，解决了AI幻觉问题。
识别1600+种人类语言，支持少样本扩展到5400+种语言，Meta自动语音识别模型开源
Meta AI发布Omnilingual ASR自动语音识别模型并开源。它能转录超1600种语言，含500多种首次被AI理解记录的语言，还可通过少样本扩展到5400多种，改变了多语言ASR构建范式。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
Anthropic 发布最新研究：LLM 展现初步自省迹象
Anthropic 最新研究表明，Claude 展现出真实但有限的内省能力，能在某种程度上识别自己内部状态。研究团队开发验证方法，通过概念注入等实验进行测试，还发现认知控制证据等，不过该能力有局限。
从BM25到Multi-Vector：6种Embedding演进路线
文章介绍从BM25到Multi - Vector的6种Embedding演进路线，涵盖Sparse、Dense等类型，分析其痛点、效果、案例及选型建议，还给出不同场景的方案选择和步骤。
解道奥赛题成本5000美元？陶哲轩警告，AI下一步要规模化的「更便宜」
谷歌新一代 Gemini 进阶版在 IMO 竞赛达金牌水平，华人数学家陶哲轩对此关注且担忧。他认为评估 AI 表现应谨慎，AI 发展需从定性转向定量，要‘降本增效’，未来标准化评测很重要。
「Tokens是胡扯」，Mamba作者抛出颠覆性观点，揭露Transformer深层缺陷
Mamba作者Albert Gu在博客中探讨状态空间模型（SSM）和Transformer权衡，抛出‘Tokens是胡扯’观点，揭露Transformer深层缺陷，如分词问题、处理噪声能力弱等，还分析两类模型特点及结合优势。
开源多模态大模型EarthMind，观测地球统一框架
地球观测数据复杂，现有多模态模型难适用。意大利、德国多所高校研究人员联合开源多模态大模型EarthMind，引入空间注意力提示模块，实现跨模态融合和多粒度理解，解决地球观测难题。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
RAG 2.0 深入解读
文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。