「内存带宽」共找到 246 篇相关文章
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。
这，太狠了：35k Star Lightpanda
本文介绍GitHub上35k Star的开源项目Lightpanda，它是专为Agent自动化打造的轻量无头浏览器，从零开发砍掉冗余桌面外壳，大幅降内存提速度，明确说明了适用场景与使用边界。
比爆火的OpenClaw更王炸？这台百元神机，已经能让AI长出手脚帮你打工了
英伟达DGX Spark因内存供应紧张涨价，4万的成本让预算敏感者望而却步。阿里云无影个人云超算服务性价比高，按量付费百元左右。其AgentBay让AI获“手脚”，还具OpenClaw没有的能力。
刚开源仅3天狂揽4.9K star，轻量超高效版OpenClaw，10美元硬件就能跑！
OpenClaw火遍全网但硬件要求高、成本不菲。新开源的PicoClaw是其轻量替代方案，由Sipeed开发，内存占用少、启动快、成本低、便携性强，安装简单，功能多样，刚开源就成热议新星。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。