KDA 注意力机制」共找到 982 篇相关文章

产品应用8

全球首个从语言出发构建的智能体:MoonBit Pilot 如何推动自动化软件交付?

MoonBit Pilot是从语言底层构建的代码智能体系统,将AI Agent从“助手”推向“合作者”。它比Cursor、Codex更快更稳定,能云端异步执行,有Sub Agent架构和分段编译机制,或成未来软件工业新标准。

AI科技评论
开源动态8

AI能帮忙厨房看火了!面壁智能开源全模态模型MiniCPM-o4.5,边看边听还能主动抢答

面壁智能开源全模态模型MiniCPM-o4.5,能边看边听还主动抢答。它引入全双工多模态实时流机制,在多方向达全模态模型领先水平。该模型是端侧原生,将与开发板配套,助力端侧智能硬件开发。

量子位
推荐文章7

8种LLM架构设计大比拼:从 DeepSeek-V3 到 Kimi K2,究竟有啥不同

文章对比了8种LLM架构设计,如DeepSeek-V3、OLMo 2等。介绍各模型关键技术,像DeepSeek-V3的多头潜在注意力和混合专家架构,还分析不同设计对性能、效率的影响,助读者了解LLM架构差异。

CourseAI
推荐文章8

揭秘腾讯内部科研组织ARC Lab:找最好的人才,做最难的事情

文章揭秘腾讯ARC Lab,它在行业低谷时创立,坚持找最好人才、做最难之事。介绍运营机制,如小团队、技术影响力漏斗、绩效体系等,还阐述其在学术、行业、业务、社会和人才方面的影响力。

腾讯技术工程
算法论文8

能效翻5倍!他们复刻人脑双记忆通路,造出能长效记住上下文的类脑AI芯片

帝国理工学院博士后孙鹏飞和苏黎世联邦理工博士后苏哲及合作者,受大脑皮层机制启发,打造“双重记忆路径”类脑网络及配套芯片,处理语音识别任务时能效比此前优方案高5倍。相关论文发表在《自然·机器智能》且代码、设计全开源。

DeepTech深科技
产品应用8

刚刚,Claude 5.1 发布!全球最强模型来了

Anthropic推出Claude Fable 5.1和Claude Mythos 5.1。Fable 5.1面向普通用户等,Mythos 5.1面向高风险领域伙伴。Fable 5.1性能优、价格低,在多测试中表现提升,还能用于科研,且安全防护机制升级。

机器之心
产品应用8

前端同事看走眼了,这个“游戏网页”其实全是AI写的!

Kimi K2.5上新,集视觉理解、代码生成等能力于一体,提供四种使用模式,其中Agent集群模式提效显著。实测显示其网页生成、动效理解能力出色,下一代K3模型或用新架构KDA降低计算成本。

InfoQ
算法论文8

斯坦福英伟达推出测试时强化学习:微调开源模型胜过顶级闭源模型,仅需几百美元

斯坦福、英伟达等提出TTT - Discover方法,基于开源模型gpt - oss - 120b,在测试阶段引入强化学习更新模型权重。它采用熵目标函数和PUCT启发机制,解决分布外问题,成本低且表现优,但目前适用于连续奖励场景。

量子位
算法论文8

长文本生成迎来新突破:拓元智慧推出 DrDiff ,实现效率与质量双提升

拓元智慧联合多团队开发出 DrDiff 框架,解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”,有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件,经测试表现良好,未来应用值得期待。

AI科技评论
推荐文章7

当ChatGPT也开始逐渐成为微信的模样。

OpenAI Blog提出目标是帮用户更好使用注意力,衡量标准是用户是否解决问题后离开,这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念,如今也面临桥与巢的矛盾。

数字生命卡兹克