「计算量降低」共找到 2034 篇相关文章
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。
重构线性视觉Transformer,精度与效率双平衡 | CVPR'25
南洋理工、北航与合工大联合提出CARE Transformer,以非对称解耦建模局部与全局,降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度,打破“效率与精度不可兼得”困局。
Meta 新成立超级智能实验室,让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室(MSL),首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码,减少计算量和延迟,在多任务测试中表现出色,为大模型部署提供实用方案。
13人干翻Transformer!新架构SSA算力暴减千倍,成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世,其上下文高达1200万Token,计算量比Transformer暴减1000倍,成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人,产品发布后引发AI社区不同反应。
超越Claude Mythos和GPT-5.5!斯坦福Agent验证框架拿下SOTA,Transformer作者转发
斯坦福、伯克利与英伟达联手打造LLM-as-a-Verifier验证框架,该方法是通用验证机制,可与任意Agent Harness和模型结合。研究表明扩展验证阶段计算量,能提升Agent整体性能,在多基准测试中超越Claude Mythos和GPT - 5.5。
创业三年半,23人的AI公司卖了30亿
投资界消息,英伟达超4亿美元收购加拿大AI初创公司CentML,将其19人团队收入囊中。CentML由95后华人博士王尚及导师创立,以‘张量编译器Hidet’为核心技术,降低AI训练成本。
斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law
斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能,揭示动作误差与采样数量幂律关系,还探讨关键问题,给出方法,实验证明结合RoboMonkey能显著提升性能。
ShellAgent 2.0 体验:让前端消失,省掉 70% 开发资源
本文介绍Myshell ShellAgent 2.0测试情况,它仅用提示词就能生成Agent应用,摆脱前端构建流程,降低创建门槛。文中展示创建计算八字、分析钱包资产、拆解学习资料等应用案例,还能Remix他人发布的应用。
极简主义的胜利:清华团队用最简单的强化学习配方刷新1.5B模型纪录
清华、伊利诺伊大学和上海AI实验室团队提出JustRL架构,仅用单阶段训练和固定超参数,在1.5B模型上刷新性能纪录,计算量仅为复杂方法50%,挑战了复杂技术堆叠现状。
3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。