万字长文！大模型LLM推理优化技术总结

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。

《TAML》好文推荐 | 来自清华大学张宇飞团队最新研究成果 基于文本生成翼型：FoilCLIP,一种语言驱动的气动设计新框架

传统翼型设计依赖CFD和风洞试验，成本高。清华大学张宇飞团队提出端到端双向映射框架FoilCLIP，通过对比学习建立文本与翼型几何双向映射，还提出数据增强策略，验证了其在语言驱动设计中的应用潜力。

函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。

本周推荐的6个超级6的Github开源项目！

本文推荐6个GitHub开源项目。如WeClone用微信记录定制数字分身、支持语音克隆；Windmill将脚本转工作流和UI；Zed是高性能Rust代码编辑器；webfunny_monitor监控前端性能；Rybbit分析网站流量；Lite XL是轻量级文本编辑器。

a16z聊AI编程：别担心被取代，新玩家、新范式带来的是「很多」机会

a16z三位投资合伙人认为AI Coding是第二大AI市场，有望成最大单一市场。他们对编程未来不悲观，指出新人群与新方法或催生新软件形态，编程语言不会被取代，资深工程师仍被需要。

本周六直播预约 | Test-Time Reasoning综述分享！

当大模型训练成本飙升、数据枯竭，推理阶段扩展Test-Time Scaling（TTS）成研究热点。论文提出四维正交分析框架，梳理主流技术路线，提炼发展路径，给出操作指南与未来思考，本周六将直播分享该综述。

仅隔一天，OpenAI同步上线o3和o4 mini，它们能调用ChatGPT里的多种工具，可基于图像思考。o3是强大推理模型，o4-mini专为快速经济推理优化。即日起部分会员可体验，还开源了Codex CLI。

GPT-6第1天直接攻破5道Erdős难题！Fable 5.1交了白卷

Epoch AI和曼彻斯特大学发布FME基准测试论文，让68道未解数学难题成5个顶级AI的考场。GPT - 6 Astra成唯一得分非0分模型，放宽预算共解开5道，其余4个AI全交白卷。该测试是对陶哲轩批评的回应。

5.1K Star！Codebuff 把整个 AI 编程团队装进你的终端！

Codebuff是开源AI编程助手，获超5.1k stars。其多智能体架构让不同智能体分工协作，理解代码上下文更好、编辑更准。官方测试中完成率61%，超Claude Code。它免费且上手简单，还能创建自定义智能体。

专为终端设计 ，轻量快速，GB 大文件都秒开！

开源君发现一款基于 Rust 的终端文本编辑器 `Fresh`，目标是轻量、快速、功能强大，支持多平台，有7.1k+ star。它上手0门槛、轻量快速，有代码友好功能和丰富生产力工具，还支持插件扩展，提供多渠道安装方式。