轻量化机制」共找到 1188 篇相关文章

算法论文8

量高效,即插即用:Video-RAG为长视频理解带来新范式

现有视觉语言模型处理长视频面临诸多难题,厦门大学等联合提出量高效、无需微调的 Video-RAG 框架,采用多模态辅助文本检索增强生成,解决长视频理解问题,适用于多场景。

机器之心
新闻资讯7

熬夜后走神不是你的错,而是自救机制在“洗脑” | Nature

麻省理工学院研究揭示,熬夜后白天易走神是因大脑“洗脑”机制启动。正常“洗脑”在睡眠时进行,清理废物;睡眠不足时,白天也会启动,代价是注意力受损。此前波士顿大学也有大脑清洁相关研究。

量子位
新闻资讯7

AI首次拿下IMO官方满分金牌,背后藏着一套自我纠错机制

在第67届国际数学奥林匹克(IMO 2026)上,小红书的「dots-note-3.0」成为首个获官方满分金牌的AI模型。它解题时自我检查修正,有自主探索能力。之后模型要应对生活中长周期、多变任务的挑战。

机器之心
算法论文8

信息熵之后,清华提出状态熵!量化分析「系统智能性」的全新视角

清华大学科研团队从自治系统的演化动力学出发,提出状态熵概念,分析其与系统聚合度关系,为系统智能性度量提供新视角。论文给出状态熵统一定义及演化解析表达式,还在典型系统上分析其演化规律。

新智元
算法论文8

人大高瓴-华为诺亚:大语言模型智能体记忆机制的系列研究

中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力,形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法,还构建评测榜单、实现工具包。

机器之心
开源动态8

清华SageAttention3,FP4量化5倍加速!且首次支持8比特训练

清华大学陈键飞团队提出针对BlackWell架构的SageAttention3,实现5倍于FlashAttention的推理加速,首次支持8比特训练。在多种大模型上保持端到端精度,代码将分别于6、7月开源。

机器之心
推荐文章8

大模型推理加速全链路:内存管理、编译优化、量化与并行策略

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。

InfoQ
新闻资讯7

刚刚,谷歌AI路线图曝光:竟要抛弃注意力机制?Transformer有致命缺陷!

谷歌未来AI路线图曝光,Gemini全模态是重点,模型向智能体转变,推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外,文中盘点了OpenAI、DeepSeek等大厂AI年中表现。

新智元
算法论文8

大模型如何"不训练"也能学习?——上下文学习的隐式权重更新机制

大型语言模型能通过上下文学习(ICL)在推理时即时学习新任务,无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新,解释了ICL原理,为构建AI系统开辟新路径。

深度学习自然语言处理
开源动态8

9K Star 开源工作流爆火!超量直观的AI Agent 工作流构建器!

在AI应用开发领域,将大语言模型与业务逻辑和外部工具结合是重点。GitHub上获9K Star的Sim项目是AI Agent工作流构建器,提供Figma式拖拽界面,无需手写代码,降低配置、调用和部署门槛。

开源星探