注意力架构」共找到 1981 篇相关文章

推荐文章7

Zed 为什么不用自己造 Agent?OpenAI 架构师给出答案:Codex 重划 IDE × Coding Agent 的分工边界

Coding agents 是应用型 AI 活跃领域,但团队常重复构建脆弱基础设施。OpenAI 的 Codex 提出“模型和 Harness 共同构建”,架构师介绍构建挑战与使用模式,还阐述了将模型适配到 Harness 的问题及未来发展方向。

AI前线
算法论文8

我在哪?要去哪?要怎么去?字节跳动提出Astra双模型架构助力机器人自由导航

当今机器人导航系统在复杂室内环境面临挑战,字节跳动研发创新双模型架构Astra,含Astra - Global与Astra - Local子模型。经实验验证其性能佳,未来有广阔应用前景,但也存在需改进之处。

机器之心
开源动态7

Kimi K2发布两天即“封神”?80%成本优势追平Claude 4、打趴“全球最强AI”,架构与DeepSeek相似!

国内独角兽月之暗面发布开源模型 Kimi K2,推出两天就在 OpenRouter 超越 xAI 的 Grok 4。它成本优势大,能力泛化和实用性强,编码、Agent 工具调用等方面表现出色,架构与 DeepSeek 相似。

AI前线
新闻资讯7

英特尔连环炸:CTO被OpenAI挖走、中国区架构大调!陈立武亲自下场扛AI,称“不再提供空白支票”

近日,英特尔CTO兼AI负责人Sachin Katti离职加盟OpenAI,他负责搭建计算基础设施。此前其部门未达营收预期,英特尔多位高管出走。CEO陈立武亲自领导AI业务,还推进改革和中国区架构调整。

AI前线
开源动态8

Kimi K2发布两天即“封神”?80%成本优势追平Claude 4、打趴“全球最强AI”,架构与DeepSeek相似!

国内独角兽月之暗面发布并开源 Kimi K2 模型,推出两天就在 OpenRouter 平台 token 使用量超 xAI 的 Grok 4。它成本低、性能强,编码能力追平 Claude 4,架构与 DeepSeek 相似,技术研究也多次‘撞车’。

InfoQ
算法论文8

LLM工业级自进化:北邮与腾讯AI Lab提出MoE-CL架构,解决大模型持续学习核心痛点

北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’,在腾讯业务及基准测试中效果佳,降低人工成本,准确率优于主流方法。

机器之心
开源动态8

kimi K3超大杯升级背后的技术内幕

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。

Agent的潜意识
算法论文8

RAG外部检索是多余的,英伟达最新成果颠覆认知

英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作,存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示,训练量小,在多跳QA上超越多种检索基线。

PaperAgent
开源动态8

对标GPT-4o和香蕉!浙大开源ContextGen:布局身份协同新SOTA

浙江大学ReLER团队开源ContextGen框架,攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构,用双重注意力机制实现布局精准锚定与身份高保真隔离,在基准测试中超越开源SOTA模型,对标GPT - 4o等闭源系统。

新智元
新闻资讯7

Remix 3终结以React为中心的架构

多年来,React 一直是全栈 JavaScript 架构基础。但 Remix 3 挑战了这一局面,它遵循渐进式增强和服务器优先原则,将 Web 基本原理置于核心,重新定义构建方式,引发对 React 中心架构的思考。

InfoQ