「线性递归」共找到 155 篇相关文章
离开Meta后,田渊栋刚刚官宣创业了
离开Meta后,田渊栋参与创立Recursive_SI。该初创公司致力于打造可自主实验、自我改进的AI,已筹集6.5亿美元,估值46.5亿美元。团队成员经验丰富,在递归自我改进方向有深厚学术积累。
Transformer创新架构SALA:上下文更长,推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用,MiniCPM - SALA 在长文本处理及推理上表现出色,还发起大奖赛探索性能极限。
阅读7千万文章硅谷爆火:AI奇点已至,抛弃人类自我进化!
文章指出本月AI质变式飞跃,能独立完成复杂工作,递归自我提升循环已启动。如GPT - 5.3 - Codex有判断力和品位,AI构建自身进程加速。多数人认知滞后,作者给出应对建议,也提及AI带来创造机遇。
AGI 新技术路线:下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术,用块间代表交流机制实现线性复杂度,兼具多种注意力机制优点,可满足宇宙尺度建模的上下文长度需求。
MiniMax 怎么做 Agent:Model-Harness 协同只是第一步,还有 Inference-Harness 协同
本文介绍了 MiniMax 在 Agent 层面的实践。从内部飞书 bot 起步,发展成桌面应用 MiniMax Code,形成训练 - 服务闭环。还阐述 Agent 对模型优化迭代的作用、自研 Agent 优势,指出 AGI 是闭环递归自我改进系统。
真·开外挂!MIT新研究:架构0改动,让大模型解锁千万级上下文
MIT CSAIL团队提出递归语言模型RLM,不改动模型架构,让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”,实验显示其处理规模超前沿模型,复杂任务优势显著,多数场景性价比高。
诺贝尔经济学奖背后的 AI 投资主线|AGIX PM Notes
本文围绕诺贝尔经济学奖与AI投资展开。以创新驱动的增长范式与AI生产力、商业模式转型相关,还介绍本周全球股市去杠杆情况及AI领域动态,如Meta等公司技术进展,最后解读ETF市场价格与净值关系及投资策略。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
英伟达港大联手革新视觉注意力机制!GSPN高分辨率生成加速超84倍
香港大学与英伟达联合推出广义空间传播网络(GSPN)。它采用二维线性传播与“稳定性 - 上下文条件”,将计算量降低,保留图像空间连贯性。在多视觉任务刷新性能纪录,如高分辨率生成加速超84倍。
与Gemini Diffusion共振!首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」,这是面向扩散语言模型的新型推理范式。它与传统思维链不同,能非线性生成,已应用于两种模型,增强后的模型在相关任务上超越现有模型。