「推理缓存优化」共找到 3038 篇相关文章
图像界的DeepSeek！12B参数对标GPT-4o，5秒出图，消费级硬件就能玩转编辑生成
Black Forest Labs开源旗舰图像模型FLUX.1 Kontext[dev]，专为图像编辑打造，能在消费级芯片运行。12B参数少、推理快，性能媲美闭源模型。有诸多特点，经优化训练，在KontextBench基准表现优。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4
近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
高性能计算群星闪耀时
本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
Qwen3接连放出No Thinking, Thinking两大模型，Gemini2.5 pro顶不住啦
Qwen推出非推理模型`Qwen3 - 235B - A22B - Instruct - 2507`后，又放出推理模型`Qwen3 - 235B - A22B - Thinking - 2507`。非推理模型在多方面功能增强，推理模型能力强，超DeepseekR1，可试用。