「双层效率优化框架」共找到 2272 篇相关文章
本地运行、支持视觉与工具调用：Meta 开源智能体模型
Meta AI Research 推出 300 亿参数的开放权重模型 Muse Glimmer，采用 Apache 2.0 许可证。它专为本地工作流设计，能在消费级硬件运行，经多项优化，在基准评估中表现出色，还支持多种框架。
Agent 形态一天一个样，Infra 到底该为谁而建？
过去一年，Agent 应用形态多变，但进入稳定生产环境的项目有限。清程极智师天麾认为，Agent Infra 重要性待显，当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
CJA | 北航罗明强教授团队：一种基于生成式人工智能的快速结构化飞行器概念设计方法
目前人工智能为飞机概念设计提供方案，但存在数据需求大等问题。北航罗明强教授团队提出基于LLMs的设计方案生成方法，开发原型系统，实验表明LLMS有相当设计能力，该方法可降成本、提效率。
【万字长文】Anthropic发布Prompt Engineering全新指南
Anthropic发布全新Prompt Engineering指南，涵盖元提示、模板等关键技术。介绍了prompt类型、必备要素，还给出优化技巧，如添加示例、思维链精炼等，涉及XML标签、链式提示等方法，也提及减少幻觉、提高一致性等内容。
AI 编码让资深程序员“掉速”19%！OpenAI 前研究员实锤：别再交“AI 工具智商税”了，谷歌大佬力挺！
METR研究显示，AI编码工具让开发者效率降19%，与主观感受及专家预估相反。此结果引发热议，谷歌技术大佬支持，指出AI工具生成代码难达标准，未来或改进，目前更适合小规模项目。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
SmolVLA: 让机器人更懂 “看听说做” 的轻量化解决方案
文章介绍轻量级开源视觉 - 语言 - 动作 (VLA) 模型 SmolVLA，专为机器人领域设计，可在消费级硬件运行。它用公开数据集训练，架构经优化，还引入异步推理堆栈，性能超部分大模型，降低研究门槛。
华为| 祭出FlashComm1，FlashComm2、FlashComm3，解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下，华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信，提升推理性能；FlashComm 2重构计算流程，提升推理速度；FlashComm 3实现多流并行，激增模型吞吐。
DSpark推理速度提升80%后，OpenAI宣布新方法将推理成本降低了一半
近日，OpenAI 工程师开发优化技术，将模型推理成本降一半。业内猜测或基于公开成果，也有人认为是模型量化。此前 DeepSeek 推出 DSpark，使 V4 模型推理速度提升 60%-85%，还引入峰谷定价机制。