动态路由机制」共找到 1248 篇相关文章

算法论文8

扩散LLM推理新范式:打破生成长度限制,实现动态自适应调节

随着扩散大语言模型成为热门,但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL,赋予模型根据问题自主调整回答长度的能力,在性能和计算效率上有提升。

机器之心
新闻资讯7

熬夜后走神不是你的错,而是自救机制在“洗脑” | Nature

麻省理工学院研究揭示,熬夜后白天易走神是因大脑“洗脑”机制启动。正常“洗脑”在睡眠时进行,清理废物;睡眠不足时,白天也会启动,代价是注意力受损。此前波士顿大学也有大脑清洁相关研究。

量子位
新闻资讯7

AI首次拿下IMO官方满分金牌,背后藏着一套自我纠错机制

在第67届国际数学奥林匹克(IMO 2026)上,小红书的「dots-note-3.0」成为首个获官方满分金牌的AI模型。它解题时自我检查修正,有自主探索能力。之后模型要应对生活中长周期、多变任务的挑战。

机器之心
算法论文8

人大高瓴-华为诺亚:大语言模型智能体记忆机制的系列研究

中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力,形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法,还构建评测榜单、实现工具包。

机器之心
新闻资讯7

刚刚,谷歌AI路线图曝光:竟要抛弃注意力机制?Transformer有致命缺陷!

谷歌未来AI路线图曝光,Gemini全模态是重点,模型向智能体转变,推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外,文中盘点了OpenAI、DeepSeek等大厂AI年中表现。

新智元
算法论文8

大模型如何"不训练"也能学习?——上下文学习的隐式权重更新机制

大型语言模型能通过上下文学习(ICL)在推理时即时学习新任务,无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新,解释了ICL原理,为构建AI系统开辟新路径。

深度学习自然语言处理
开源动态8

轻量级开源AI多智能体框架!智能路由+上下文管理,前后端接口支持!

随着多智能体系统成对话式AI新趋势,GitHub现轻量级高灵活性多AI智能体协调框架Agent - Squad,它能实现多智能体协作、路由和上下文共享,支持双语言,部署灵活,功能强大且安装友好。

开源星探
算法论文8

ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键

ICML 2025新研究揭示,在使用RoPE的现代Transformer模型里,注意力机制Q和K表示有集中极大值,V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系,对模型设计、优化和量化有重要启示。

深度学习自然语言处理
产品应用8

搜狐架构演进技术实践:我们如何用 MCP Registry 根治 AI Agent 的“千具之灾”

本文讲述搜狐团队在构建企业级 AI Agent 时遭遇‘千具之灾’,当前路由模型方案引发‘治理噩梦’。后通过研究 MCP Registry 获新思路,设计新架构,构建 PoC 原型,并对混合路由等问题展开思考。

InfoQ
算法论文8

10行代码,AIME24/25提高15%!揭秘大模型强化学习熵机制

来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞,提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记,遏制熵塌缩,在部分数据集上性能提升显著。

机器之心