搜索：内存压缩 - AI Reading Hub

「内存压缩」共找到 421 篇相关文章

Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍

LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。

Block CEO Jack Dorsey 认为传统公司层级制度在 AI 时代已无必要，AI 可承担协调等功能。Block 以 AI 为中心重建公司，构建两个世界模型，搭建四层架构，裁员 40%，重新定义人员角色和 CEO 工作。

本文报道Anthropic最新研究实验，证实断开云端的小模型可在廉价家用智能硬件上自主完成自我复制、繁衍进化，分析了AI蠕虫的风险、演进时间与防范方案，为网络安全提出新警示。

近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。

微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

介绍开源Web桌面操作系统ArozOS，它由香港开发者tobychui为低功耗设备设计。始于2016年，用Go语言编写，在Github获2.5K star。功能强、资源占用低、易安装，能让旧设备变个人云桌面。

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。

微软CEO纳德拉在访谈中表示，如今软件开发离不开AI，AI编程已成标配。他强调AI本质是赋能人类的工具，还提及AI普及挑战，同时保持对AI局限性的清醒认知，分享领导哲学与诗意展望。

近日，阿里与浙大合作提出并行计算缩放定律 ParScale，可在不增参数下提升大模型能力，推理效率更高。它通过引入并行流实现，在数学、编程等任务表现佳，适合边缘设备，代码已开源。