「线性递归」共找到 134 篇相关文章
原来Scaling Law还能被优化?Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。
93%的人在用AI,为什么生产力只提升了10%——两个被严重低估的杠杆
Stack Overflow 2024年调查显示93%开发者用AI辅助工具,但DX Research研究表明生产力仅提升约10%。文章指出多数人用AI是线性叠加,真正的乘数效应来自自闭环验证和长期记忆,还分析误区并给出实践路径。
翁荔新博客提出「自进化先从Harness开始」,DeepSeek崔添翼转发附议
前OpenAI安全副总裁翁荔新博客探讨AI自进化,提出从Harness开始的现实路径。DeepSeek崔添翼转发附议,认为Harness方向自进化很可能出成果。翁荔梳理研究,展示优化递进趋势,也指出实现递归自我改进存在的瓶颈。
田渊栋AI创业估值315亿,老黄苏妈都投了,姚班施天麟也是合伙人
离职Meta的田渊栋成AI创业合伙人。Recursive Superintelligence获6.5亿美元融资,估值46.5亿美元。谷歌GV等领投,英伟达等参与。8位联创阵容豪华,要做AI自我改进,押注递归式自我改进。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文,解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点,像DeepSeek V3用MLA和MoE提升效率,还探讨线性注意力复兴等趋势。
大模型是否对问题难度有预判?最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针,定位负责难度感知的注意力头,还发现不同模型表现有差异。
思维链可无限延伸了,MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model(TIM),配合专用推理引擎TIMRUN,把推理过程变为树状递归子任务结构并修剪子任务,让模型突破输出窗口限制实现长程推理,实验验证了其性能。
来了,DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目,该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上,将‘冗余专家’看成带容量边的图,每批解一次线性规划,实现 token 重新路由,单节点 100µs 级求解。
统计学和机器学到底有什么区别?
文章探讨统计学和机器学习的区别,指出两者目的不同,统计模型重推断关系,机器学习重预测。以线性回归为例说明差异,还澄清常见误解,表明机器学习基于统计学但涉及多领域,最后称选方法要看目标。
Devin CEO:别搞多智能体!Anthropic:我们性能提升90%!
最近,开发Devin的Cognition CEO发文称不要构建多智能体系统,而Anthropic分享构建多智能体研究系统,性能提升90%。Cognition认为多智能体协同难,坚持单线程线性Agent;Anthropic用工程设计绕开瓶颈。二者因任务类型不同观点有别。