激活值内存」共找到 634 篇相关文章

开源动态8

LangChain 彻底重写:从开源副业到独角兽,一次“核心迁移”干到 12.5 亿估

本周,LangChain 宣布完成 1.25 亿美元融资,投后估 12.5 亿美元,还发布了里程碑式更新 LangChain 1.0,这是一次从零开始的重写。LangChain 最初是副业,发展成热门开源项目,此次重写解决了此前问题,有诸多升级。

AI前线
算法论文8

32k微调处理百万Token:21倍的推理加速,10倍的峰显存节省,实现恒定内存消耗

现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构,有双轨并行记忆系统,能恒定内存、线性时间处理文本,在基准测试超主流方法,实现21倍推理加速和10倍显存节省。

量子位
产品应用8

手机跑推理模型:Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking

Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型,仅需900MB内存就能在手机运行。它专为简洁推理训练,性能提升明显,多数性能基准超Qwen3 - 1.7B,在多平台表现佳,还支持主流推理框架。

AI工程化
产品应用8

3B激活参数,干翻GPT-5.4和Opus4.6,商汤绝影把龙虾塞进了车里

商汤绝影发布端侧多模态大模型Sage,32B总参数、3B激活参数,在PinchBench评测超Claude Opus4.6等。自研SCOUT和ERL技术助力,从多维度领先同量级端侧模型,为座舱智能体提供支撑。

量子位
开源动态7

24B模型编程超DeepSeek全家桶,32G内存苹果电脑就能跑,专门针对真实GitHub Issue训练

Mistral发布最新开源编程模型Devstral,参数24B,能在单卡RTX4090甚至32G内存Mac上运行。它专为编程智能体推出,针对真实GitHub Issue训练,在SWE - Bench Verified测试中表现出色,还可与All Hands AI框架配合。

量子位
推荐文章7

关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能

文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。

GiantPandaLLM
新闻资讯7

1亿的"死了么"APP有多好抄?5分钟AI就能复刻,去年有人一下午做出原型

‘死了么’APP 更名 Demumu,曾登热搜与付费软件榜首。此前一数据分析师用 AI 5 分钟复刻海外版,感叹技术不钱。该 APP 由 3 名 95 后开发,初始成本低,现估近 1 亿,还涌现诸多类似免费 APP。

AI前线
新闻资讯7

独家丨天机智能完成10亿元B轮及B+轮融资,估近百亿,高瓴、美团联合领投

AI科技评论独家获悉,具身智能基础设施公司「天机智能」完成10亿B轮及B+轮融资,投后估近百亿。其深耕底层技术,多项技术突破,产品优势明显。融资将投向三方向,还布局整机产品。

AI科技评论
产品应用8

0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App

腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。

量子位
新闻资讯7

7.5亿美元初创意欲「撬动」8000亿半导体市场?前谷歌AlphaChip主导者创业研发「AI芯片设计自动化」

由前谷歌研究员创办的 Ricursive Intelligence 公司,尝试开发自动设计芯片的软件。其核心技术将递归智能用于芯片设计,分三阶段改进,已获 3500 万美元融资,估 7.5 亿美元,有望变革半导体行业。

机器之心