「Attention性能瓶颈」共找到 2442 篇相关文章
LSTM之父Jürgen再突破,「赫胥黎-哥德尔机」让AI学会自己进化
LSTM 之父 Jürgen Schmidhuber 对 2003 年提出的哥德尔模型进行新尝试,构建赫胥黎 - 哥德尔机(HGM)。它能在 SWE - Bench Lite 媲美最佳人类设计智能体,还在多基准测试中超越现有方法,展现强大迁移能力。
Gemini 3.0 Pro内测流出,编程实力惊人!下周上线
十月AI战场热闹非凡,Sora 2刚亮相,谷歌下一代Gemini旗舰模型Gemini 3.0蓄势待发,最晚下周上线。内部代码流出其有Pro和Flash两版本,实测在编程等方面表现惊艳,虽未发布却暗示编码时代将变。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer(EBT),它能检查自身输出。训练时通过能量值优化预测概率向量,测试显示其泛化优但生成特定文本差,扩展性好,为高性能带来新可能。
Claude: 可视化
文章指出早期人与人靠体力拉开差距,工业革命后比拼脑力,AI 时代脑力被大模型拿走,人将比较心力。面对 AI 生成的海量文本,可视化或为解决脑力理解带宽瓶颈的解药,还给出了相关 Prompt。
Tool-Integrated RL 会是 Agents 应用突破 「基模能力限制」 的关键吗?
文章聚焦AI & Robotics业内要事,探讨Tool - Integrated RL能否助Agents突破「基模能力限制」,还涉及Copilots填产业落地鸿沟、生成式AI重塑软件开发等话题,完整版通讯含多项解读与要事速递。
大模型赋能的具身智能:自主决策和具身学习技术最新综述
具身智能是通往通用人工智能的关键路径,但传统方法有泛化瓶颈。电子科大最新综述梳理大模型赋能具身智能的自主决策与具身学习,还将‘World Model’纳入统一框架,为研究者提供路线图。
深刻理解Token:大语言模型(LLM)是如何看待这世界?
文章指出在大语言模型(LLM)中,Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程,还阐述了分词对模型性能的影响,如导致模型在数学、多语言处理上表现不佳等。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型(特别是 Stable Diffusion XL)推理速度提升高达 3 倍的方法,讲解五种优化技术,还验证了方法在其他 diffusion 模型上的通用性和有效性。
强化学习+MCP=王炸?开源框架教AI在MCP中玩转工具解决任务,实测效果超越GPT!
科技公司OpenPipe提出全新开源强化学习框架MCP·RL,只需一个MCP Server地址,agent就能自动发现工具、生成任务,在闭环反馈中摸索出最优调用策略,实测在2/3的benchmark上达或超SOTA性能。
如何实现可验证的Agentic Workflow?MermaidFlow开启安全、稳健的智能体流程新范式
随着大语言模型发展,多智能体系统成新前沿,「Agentic Workflow」受关注。但现有系统存在合理性难保证等问题。新加坡和南洋理工团队推出MermaidFlow,以Mermaid语言显式建模工作流,提升可解释性与可控性,实验性能优秀。