「联合自注意力」共找到 2250 篇相关文章
Mamba核心作者新作:取代DeepSeek在用的注意力机制,专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制,在减少KV缓存用量、保持模型质量的同时,显著提升解码速度,优化长上下文推理能力。
一手奶瓶一手键盘!新手宝妈产假氛围编程,自研实用家庭App
新加坡宝妈Laura Zaccaria产假自研家庭餐食规划App。她无编程背景,靠Cursor等工具学习。AI迭代快,她意识到要跟上,产假成自我进化契机,提醒大家学习才能不被时代抛下。
五倍推理加速,激发自回归潜能,苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式,但推理阶段计算开销大。苹果研究人员开发框架,让预训练自回归大模型多 token 预测,代码和数学任务推理加速达 5.35 倍,一般任务约 2.5 倍。
arXiv禁用AI,糊涂!18所高校联合发布首个AI科研评审平台
arXiv因AI生成论文泛滥,禁止接收未经同行评审的综述和立场论文。而18所高校联合发布的aiXiv平台,支持AI和人类共创科研成果,采用多阶段AI同行评审机制,引发对传统学术体系的反思。
复盘小鹏机器人风波:当一个机器人需要“自证清白”|甲子光年
本文复盘小鹏机器人IRON风波,从科技日发布现场无人质疑,到网络舆论质疑造假,何小鹏亲自下场自证。还分析了公众质疑原因,介绍机器人技术,指出行业应回归应用本质,小鹏IRON将优先进入商业场景。
OpenClaw爆火背后,仅8.6%用户能察觉异常!多校联合实证
OpenClaw等AI智能体爆火,其安全隐患凸显。多校联合研究发现,仅8.6%的用户能感知智能体媒介欺骗,总结了6类认知失效模式,认为体验式学习或比静态提醒更能提升用户警觉性。
SPIRAL:零和游戏自对弈成为语言模型推理训练的「免费午餐」
新加坡国立大学等机构团队提出 SPIRAL,让模型在零和游戏自对弈强化推理,摆脱人工监督。研究发现游戏可培养推理能力并迁移到数学,还开发系统保障训练,虽有局限但为 AI 发展指明方向。
理解帮助生成?RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡,常理解强但生成弱。本文提出重建对齐(RecA)自监督后训练方法,不改动架构,用未标注图像训练,在多模型实验中提升性能,部分达SOTA。
LangChain联合Manus季逸超最新分享!也许当前最好的「上下文工程」讲解
文章由LangChain创始工程师与Manus联合创始人深入探讨上下文工程,介绍其兴起背景、重要策略。指出AI Agents上下文膨胀致性能下降,上下文工程能解决此问题,还阐述了避免模型专业化陷阱及相关实战经验等内容。
小扎不死心Manus“自研”了一个,但模型用的Claude……
Meta推出智能体平台Hatch,功能类似Manus,开发阶段用Claude,计划正式上线时切换到自研模型Muse Spark,10月推出新模型Watermelon。Hatch注重消费数字生活,与Meta社交生态深度绑定,高端订阅有默认分发优势,但面临真实环境考验。