「显存压缩」共找到 286 篇相关文章
吴恩达开源的OpenWorker,为什么「不 Work」了?
美国时间7月23日,吴恩达与Rohit Prasad发布开源桌面Agent OpenWorker。它把Agent工作流压缩成桌面应用,但上线一周暴露出多模型兼容、数据流向和权限控制等问题,反映出Agent赛道走向成熟产品的挑战。
MiniCPM-o 4.5 技术报告发布:全双工全模态 API 开放,RTX5070 即可实时运行
面壁智能等发布 MiniCPM-o 4.5 技术报告,开放全双工全模态 API。该模型 9B 参数,RTX5070 可实时运行,下载量超 25 万。报告披露 Omni - Flow 框架,模型性能强,还能催生新应用。
刚刚,机器人练成了宁次的「白眼」:∞帧画面边看边3D重建我们的世界!
蚂蚁灵波开源的LingBot - Map模型实现无尽流,可看∞帧视频稳定实时3D重建。它打破“既要实时、又要记路、还要省显存”的不可能三角,在多项测试中表现优异,补齐具身智能关键拼图。
鼠标点3下就能锁定打击?五角大楼曝光美军AI大脑
美国国防部首席数字与人工智能官Cameron Stanley演示Maven系统,将美军杀伤链从小时压缩到分钟。Maven整合多系统,Palantir的AIP嵌入大模型改变战争决策逻辑。Anthropic因坚守安全红线与五角大楼冲突。
开源中小模型+Skills也性能暴增!卢森堡大学探索了小模型驾驭Skills的边界
卢森堡大学等研究探索小模型驾驭Skills的边界。工业界因数据安全渴望开源小模型,智能体Skills框架让小模型性能暴增。研究拆解小模型处理复杂任务的方法,还验证不同策略有效性,发现代码专用模型优势。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token,LLM式视觉编码器用双流注意力驱动因果建模等,还采用三级训练流水线提升效率。
云计算一哥,给 Agentic AI 工程做“减法”
2025 年亚马逊云科技 re:Invent 大会聚焦 Agent,其首席执行官提出未来各领域将运行数十亿 Agent。该公司欲在 Agentic AI 上重构,推出系列工具,如 Amazon Strands Agents SDK、Amazon Bedrock AgentCore 等,还在模型训练和工程化方面做减法。
别再只关注KV Cache了! LLM稀疏性新洞察:为何模型越深越稀疏?UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收,它提出高效推理框架,从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略,设计的UNCOMP框架优化KV Cache,实验效果佳。
多模型共享 GPU 内存,Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点,伯克利Sky Computing Lab团队开源kvcached工具,通过虚拟化技术让多模型共享显存。它引入虚拟内存概念,按需分配,测试显示能提升效率,安装简单、兼容性好。
Anthropic 发布 AI Agent 上下文工程指南
今年6月Andrej Karpathy提出用「上下文工程」取代「提示词工程」。Anthropic发布工程博客呼应此观点,指出构建AI应用重心转向策划上下文。文章详述上下文工程重要性、有效上下文剖析、检索及长时任务应对技术等。