「显存压缩」共找到 303 篇相关文章
小扎“超级智能”小组第一位大佬!谷歌DeepMind首席研究员,“压缩即智能”核心人物
最新爆料,谷歌DeepMind首席研究员Jack Rae确认转投Meta,另有消息称Meta还招募了Sesame AI的ML主管。此前小扎还想斥资150亿美元收购Scale AI。小扎为组AGI团队不遗余力,推进速度快。
Skills的最正确用法,是将整个Github压缩成你自己的超级技能库。
文章指出重复造轮子不可取,Skills可将Github开源项目封装成技能库。以FFmpeg、yt - dlp等为例,介绍封装流程,还提及多场景应用,如视频下载、格式转换等,让普通人能利用开源成果。
如何在24GB显存里,塞下一个万亿参数的巨兽?KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统,可让消费级显卡跑万亿级参数模型,其论文入选SOSP 2025。该系统解决MoE模型本地部署难题,技术创新多,还与SGLang合作,提升硬件利用率。
最低仅需2G显存,谷歌开源端侧模型刷新竞技场纪录,原生支持图像视频
今天凌晨,谷歌官宣Gemma 3n,原生支持多模态。它在大模型竞技场超1300分,是首个超此分数的10B以下模型。其VRAM占用低,最低2GB,已在谷歌AI Studio等可用,还公开了技术细节。
无预训练模型拿下ARC-AGI榜三!Mamba作者用压缩原理挑战Scaling Law
CompressARC研究中,Mamba作者Albert Gu团队给出不同于大规模预训练的智能配方——最小描述长度(MDL)。一个76K参数、无预训练模型,在ARC - AGI - 1基准解决20%问题,获ARC Prize 2025第三名。
AI Native的组织架构应该是怎么样的?Block CEO:每家公司都可以压缩成一个agent
Block CEO Jack Dorsey 认为传统公司层级制度在 AI 时代已无必要,AI 可承担协调等功能。Block 以 AI 为中心重建公司,构建两个世界模型,搭建四层架构,裁员 40%,重新定义人员角色和 CEO 工作。
腾讯AngelSlim重磅升级!面向全模态的大模型压缩算法工具包,推理速度飙升 1.8倍!
近年来,推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现,支持多模态场景,最高可实现 1.9× 推理加速,还具备多亮点。
推翻「预测下一个token」范式!微信AI新研究:把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM,把token打包成连续向量,让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤,在平衡性能和计算成本时性价比更高。
腾讯发布SpecExit算法,无损压缩端到端加速2.5倍!解决大模型长思考效率难题
腾讯发布 SpecExit 算法,将思考早停与投机采样融合,利用轻量级草稿模型预测“退出信号”,在不引入额外探测开销的前提下,实现动态、可靠的思考早停,在 vLLM 上推理端到端加速 2.5 倍,准确性和推理效率得到双重保障。
微软 CEO 纳德拉:离了 AI 软件开发没法想!编程如诗都是“压缩”。社区:必须拥抱变化。
微软CEO纳德拉在访谈中表示,如今软件开发离不开AI,AI编程已成标配。他强调AI本质是赋能人类的工具,还提及AI普及挑战,同时保持对AI局限性的清醒认知,分享领导哲学与诗意展望。