推荐文章7

万字长文总结大模型LLM推理优化技术

OpenMMLab2025-07-04

AI 摘要

文章指出大模型推理需优化成本与速度。介绍推理阶段、批处理、KV缓存等，还阐述多种优化技术，如模型并行可分散显存，注意力机制优化能减内存，模型优化可降内存占用，模型服务技术能并行处理请求。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Linus用Claude写内核性能涨3倍

本文报道Linux之父Linus Torvalds在Linux官方内核仓库新增带LLM后缀的分支，他指导Claude Code参与内核内存管理模块的代码编写、测试和文档撰写，优化后多线程读取性能暴涨3倍，还借助AI梳理十年前的旧代码，挖出3个隐藏多年的Bug，打破了Linus此前对AI的质疑。

清华大学自动化系研究者针对大模型上下文学习（ICL）中示例选择成本高、效果不佳的问题，提出Jev-LDE方法，仅对初始检索示例做一次局部编辑，即可大幅提升1-shot准确率，推理成本增量很低。

本文爆料Anthropic风控动态，上半年封禁1140万疑似数据蒸馏账号，申诉胜诉率仅10%，大量正常用户被误杀，同时对比了中外大模型的使用体验差距。

本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，详解其性能升级、定价优惠、多领域落地成果与安全优化，对比了它与OpenAI、Anthropic旗舰模型的评测成绩，展示大模型落地真实场景的最新进展。