内存压缩」共找到 397 篇相关文章

推荐文章7

上下文工程如何重塑智能体的“思考方式”?

文章指出在大模型时代,智能体能否理解上下文是关键。介绍了上下文工程的魔力、从提示词到上下文工程的演进,分析了上下文工程不等同于上下文的原因及常见失败类型,还给出编排设计和常见策略,最后提及用RAGFlow构建私有知识问答应用。

阿里云开发者
算法论文8

微软再放LLM量化大招!原生4bit量化,成本暴减,性能几乎0损失

微软公布BitNet v2,性能几乎0损失,占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化,通过H - BitLinear模块处理异常通道,实验显示其在多方面表现优异。

新智元
产品应用8

新一代Mac mini搭载M6开售!M5 Ultra也来了

苹果更新Mac mini和Mac Studio,带来M6、M5 Ultra芯片。M6是苹果首颗2nm制程M系列芯片,M5 Ultra为四晶粒封装SoC。苹果用四个档位搭建桌面Mac本地AI算力梯队,8月27日预购,9月22日发售。

新智元
算法论文7

大模型也需要睡觉!让AI打个盹,醒来更聪明

卡内基梅隆大学和马里兰大学研究发现,大模型处理长上下文易累傻。受人脑机制启发,设计睡眠机制,让模型在上下文窗口快满时打盹,反复咀嚼信息,压缩进长期权重。测试显示,增加“睡眠”轮次能提升深度推理表现。

量子位
开源动态7

乐鑫开源首个「物联网设备Agent框架」,Claw的风终于吹到硬件上

乐鑫开源首个物联网设备Agent框架ESP - Claw,用C语言重写。它核心理念是对话即创作,可让用户通过聊天定义硬件行为。具备运行效率高、内存占用低等特点,还有多种功能及良好的生态适配性。

开源AI项目落地
产品应用7

给 AI 戴上六顶思考帽

作者探讨如何让 AI 长时间高质量输出,提出初版方案。后借助「六顶思考帽」思维法,用 Moxt 产品创建 6 个 AI 同事评审草稿,各帽给出反馈,AI 间通过文件协作,Moxt 有小问题但方向值得关注。

AGI Hunt
开源动态8

深度解析 OpenClaw 在 Prompt / Context / Harness 三个维度中的设计哲学与实践

文章从Prompt、Context和Harness三个维度解析OpenClaw设计思路。Prompt工程有动态组装与文件驱动特点;Context工程含可扩展技能、上下文压缩修剪及双层记忆管理;Harness工程为模型套“马具”,保障其可控运行。

阿里云开发者
新闻资讯7

存储芯片暴涨之下,云游戏却因祸得福

存储芯片价格暴涨冲击消费电子,如魅族22 Air因内存涨价取消上市计划。但这为云游戏带来转机,微软为Xbox云游戏引入‘广告方案’,且当下AI算力过剩,云游戏可利用闲置算力。

芯师爷
产品应用7

AMD服务器上一个诡异的性能问题诊断历程

本文复盘AMD服务器高优故障,从8月底起,集团amd turind机器业务cpi和cpu利用率飙升,影响业务性能。经排查是split lock问题,由python解释器调用__libc_free时出错引发,还分析了问题原因、传导路径,并给出应对措施。

阿里云开发者
算法论文8

模型大一统?1100多个模型殊途同归,指向一个「通用子空间」!

约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证,虽成因待探索,但意义深远。

AINLPer