「内存压缩」共找到 421 篇相关文章
多轮Agent蒸馏终于不翻车!港中文x通义新方法成功率暴涨18点,训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法,解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动,提升了模型成功率,压缩行动步数,还减少训练时间,未来或成训练长程Agent标配。
高通新款云端芯片公开!借推理抢英伟达蛋糕,市值一夜暴涨197.4亿美元
高通宣布推出AI200和AI250两款全新AI芯片进军数据中心市场,消息使股价一度飙升超20%。新品聚焦推理阶段,主打低TCO、高能效与强内存处理能力,还推进端到端软件栈。高通早有布局,已获订单。
小白必读:到底什么是FP32、FP16、INT8?
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提,不同格式在精度、范围、内存占用和计算速度上有差异,还提及多精度与混合精度计算,以及不同硬件对格式的支持情况。
技术大神用纯Rust从零构建了LLM,在GitHub上大火
Python是AI界宠儿,Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM,在GitHub上火了。Rust弥补了C/C++和Python的不足,Rust社区LLM项目增多,巨头也在布局。
北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!
北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。
实测 Seed 2.1:豆包基模超进化,国产模型能力跨过质变点
作者在做面向 Agent 项目时,因 Claude Code 内存开销大,需更轻方案。火山引擎 Force 大会发布 Seed - 2.1,作者实测其在办公、编程、图像理解等方面表现出色,认为它跨越质变点,将赋能国内 AI 生态圈。
EAAI | 西工大夏明坤,张伟伟等:分层无量纲学习:一种物理和数据混合驱动的无量纲关联参数提取方法
在流体力学研究中,高维数据冗余增加模型分析复杂度。本文提出分层无量纲学习方法(Hi - π),通过物理、压缩、映射三层架构自动提取关键无量纲参数组合,在多个算例中表现良好,为参数降维与知识发现提供新思路。
鹅厂员工的“神之一手”代码都长什么样?
文章分享6位鹅厂同事的“神之一手”代码。有将快排浓缩到5行的Python代码,有解决逆序打印不可变链表的方案,还有修复订单状态同步漏洞、解决内存泄漏等代码,文末邀读者分享代码赢福利。
跟不上、读不完?上万篇顶会论文,这个工具一键分析
加州大学圣迭戈分校等机构开发 Real Deep Research(RDR)系统,可自动完成领域综述与趋势追踪。它从顶会收集论文,压缩成摘要并聚类,还能生成综述、绘制趋势图谱。与已有方法不同,它结合自动化与专家知识。
大模型能力,小模型成本!Google等 | 提出递归混合框架:MoR, 大幅提升LLM计算效率
Google提出递归混合框架(MoR),融合参数共享与自适应计算。它有轻量级路由和KV缓存策略,在不同路由机制各有优劣。实验显示,MoR在性能、计算和内存效率上表现出色,有望实现“大模型能力,小模型成本”。