「计算效率」共找到 1773 篇相关文章
拒绝不必要Think:微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大,微软研究院和北大提出大型混合推理模型(LHRMs),它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标,实验显示其超越现有模型且效率高。
具身Scaling Law押对了!独角兽新品1小时学会新任务,重复1800次成功率99%
具身智能独角兽Generalist推出新模型Gen - 1,它在精细任务上表现出色,成功率大幅提升、效率加快,验证了机器人领域的Scaling Law。研发团队重写数据处理架构,采用新技术提升性能。
时空压缩!剑桥大学提出注意力机制MTLA:推理加速5倍,显存减至1/8
在大语言模型发展中,Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA,结合时空压缩策略,提升推理效率,在多任务中表现出色,代码已开源。
大模型 Token 究竟是啥:图解大模型Token
文章详细解释大模型Token概念,指出分词器会把文字切成Token,不同分词器切分结果不同。还介绍分词器的分词方法,通过统计文字出现频率打包成Token并编号,不同模型切分结果有差异。
AGI只是硅谷的幻想?!AI科学家盛赞中国,并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客发文指出,计算需遵循物理定律,线性进步要消耗指数级资源,硬件升级红利已尽。他认为美国追求超级智能短视危险,中国重应用普及更务实,AGI不会发生,超级智能是幻想。
Agent 形态一天一个样,Infra 到底该为谁而建?
过去一年,Agent 应用形态多变,但进入稳定生产环境的项目有限。清程极智师天麾认为,Agent Infra 重要性待显,当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
中国九章4.0量子计算机再破世界纪录,比超算快10的54次方倍
中国科学技术大学潘建伟院士团队在Nature发表论文,展示九章4.0量子计算机,它用光子计算,在解决高斯玻色取样问题时比超算快10的54次方倍,还攻克两大核心技术,有重要应用潜力。
AGI只是硅谷的幻想?!AI科学家盛赞中国,并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出,计算须遵循物理定律,线性进步要指数级资源,硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际,中国重应用普及更务实,AGI难以实现。
多模型共享 GPU 内存,Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点,伯克利Sky Computing Lab团队开源kvcached工具,通过虚拟化技术让多模型共享显存。它引入虚拟内存概念,按需分配,测试显示能提升效率,安装简单、兼容性好。
CJA | 北航罗明强教授团队:一种基于生成式人工智能的快速结构化飞行器概念设计方法
目前人工智能为飞机概念设计提供方案,但存在数据需求大等问题。北航罗明强教授团队提出基于LLMs的设计方案生成方法,开发原型系统,实验表明LLMS有相当设计能力,该方法可降成本、提效率。