「线性扩展效率」共找到 1714 篇相关文章
科研人有自己的“吃虾”方式!斯坦福普林斯顿最新开源,仅需一行指令
斯坦福和普林斯顿高校团队开源“科研版龙虾”LabClaw,只需一行命令就能调动。它是AI的“技能包”,还能部署成AI实验室助手。此外还配操作系统LabOS,人机协作效率高,扩展性好。
扎克伯格的豪赌初见成效?Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架,解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码,让首个token生成时间加速达30.8倍,扩展上下文,且精度不降反升,不过价值待实际检验。
你敢信?GPT-5的电脑操作水平只比人类低2%了
Agent S3刷新了计算机使用智能体(CUA)在「OSWorld」基准测试的记录,性能达69.9%,接近人类水平。它引入bBoN实现并行扩展,还精简框架、引入原生代码智能体,已开源并发布论文。
原来Scaling Law还能被优化?Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer(EBT),它能检查自身输出。训练时通过能量值优化预测概率向量,测试显示其泛化优但生成特定文本差,扩展性好,为高性能带来新可能。
曾让 Adobe 豪掷千亿,如今要独立上市了!招股书疯狂点名 AI 150 次,新产品对标 Lovable
网页设计工具开发商 Figma 申请 IPO,招股书提“AI”超 150 次,既视其为“创意加速器”,也认为是“潜在威胁”。该公司业务增长强劲,今年扩展工具库,虽 AI 投入短期内有负面影响,但仍会加倍投入。
阶跃开源JetSpec,大模型推测解码提速近10倍
随着Agent应用爆发,大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec,该框架面向推测解码,在H100上把MATH - 500解码速度提升到9.64倍,突破了推测解码的扩展天花板。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文,解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点,像DeepSeek V3用MLA和MoE提升效率,还探讨线性注意力复兴等趋势。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
刚刚,梁文锋署名开源「记忆」模块,DeepSeek V4更细节了
十几个小时前,DeepSeek 发布新论文,与北大合作,作者有梁文锋。针对大模型问题提出条件记忆,用 Engram 模块实现,已开源。结合此前研究,DeepSeek v4 模样渐清。模型性能、效率表现优,并发现 U 型扩展规律。