「内存节省」共找到 294 篇相关文章
小模型代替顶级闭源：微软用4B小助理，砍掉30% Token消耗
微软研究团队提出实用方案，用4B参数的微型模型Terminus - 4B替换昂贵顶配大模型接管终端执行任务，采用SFT和RL策略打造子智能体，经测试效果良好，节省Token消耗。
陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
mcpx？要来拯救mcp！让工具调用不再吃掉你的上下文
MCP传统集成方式需在对话前加载所有工具定义，易使上下文溢出。开发者cs50victor基于mcp - cli构建mcpx，按需发现工具，大幅节省token，提升准确率，适合本地部署，虽有额外推理调用，但利大于弊。
OOM排查之路：一次曲折的线上故障复盘
文章复盘了整合Paimon数据湖与RocksDB的系统三次OOM故障排查过程，分享曲折经历，介绍MAT、NMT等排查工具，还给出内存问题排查思路，望为相似技术栈者提供启发。
适配鸿蒙操作系统！！腾讯游戏直播SDK基于Kuikly三端一码开发实践
随着鸿蒙Next发布，腾讯推进游戏电竞直播SDK鸿蒙适配。基于Kuikly框架实现业务代码100%跨三端、跨多App复用，节省超50%人力。介绍适配工作、目标、方案，还提及组件Kuikly化等内容。
推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。
这，太狠了：35k Star Lightpanda
本文介绍GitHub上35k Star的开源项目Lightpanda，它是专为Agent自动化打造的轻量无头浏览器，从零开发砍掉冗余桌面外壳，大幅降内存提速度，明确说明了适用场景与使用边界。
AI最大的礼物，是让你能廉价地失败100次
文章指出AI最大的礼物不是让人成功，而是让人能廉价地失败。AI让开发成本降低、心力节省，增加了尝试机会。但人们需发布产品获取反馈，构建可演化系统，让失败为后续铺路。