「内存优化」共找到 1397 篇相关文章
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
浙江，冲出一匹碳化硅芯片全球黑马！
在‘双碳’目标与数字中国建设蓝图下，电能管理机遇巨大。黄兴博士指出将供电架构优化为高压直流可降低能耗，关键在于碳化硅功率芯片。其创办的派恩杰半导体，自主研发芯片，从芯片到封装助力客户，迎来产业机遇。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。
腾讯开源Cube Sandbox：60毫秒冷启动的AI沙盒运行时
Harness设计中沙箱是重点难点，传统方案在安全与性能间妥协。腾讯开源Cube Sandbox，用RustVMM重构虚拟化层，冷启动60毫秒，单实例5MB内存开销，有真内核隔离等优势，开源版本含网络隔离组件。
最强开源Agent！Kimi K2接入Claude Code，爽翻～【喂饭级教程+实测】
上周五Kimi开源最新旗舰模型K2，它是1000B参数MoE大模型，专为Agent场景优化，API已上线且兼容多API。文章给出Kimi - K2接入Claude Code的喂饭级教程及实测，实测显示组合表现有亮点也有不足。
当AI从云端“下沉”，Arm如何赋能端侧
端侧AI发展近十年，已进入应用快速拓展期，成为推动消费电子革新重要力量，但面临视觉处理、内存平衡和应用迭代等挑战。Arm推出相关平台与技术，如SME2，提升AI性能与能效，还与厂商合作，持续创新赋能端侧。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
量化噪声竟是RL秘钥？QeRL：高效强化学习新范式，一场噪声引发的性能革命
近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。