「软件优化」共找到 1796 篇相关文章
创业者思考：如何做 AI Agent 喜欢的基础软件？
作者黄东旭指出Infra软件主要使用者正从开发者转向AI Agent，以TiDB Cloud为例说明趋势已现。他探讨如何做AI Agent喜欢的基础软件，从心智模型、接口设计、必要特征、商业模式等方面给出建议。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
用子模优化做文本选择、段落重排和上下文工程
文章围绕子模优化展开，介绍其在文本选择、段落重排和上下文工程中的应用。指出当前重排器的缺陷，通过子模优化可解决冗余问题。还给出实验结果，凸显其优势，如理论保证、自动停止机制等。
吴恩达年度AI总结来了！附带一份软件开发学习小tips
AI大神吴恩达总结2025热门AI趋势，包括模型推理成标配、Meta引发人才争夺战、数据中心火热、智能体编程重塑软件开发。还给出软件开发学习建议，如参加课程、动手实践、读论文。
半个月暴涨23k+ Star，一行命令让任意软件 Agent-Native！
介绍开源项目`CLI-Anything`，它用CLI作AI Agent与软件桥梁，有全新思路。半个月Github涨23k+ Star，能一键生成CLI，对接真实后端，但也有依赖代码质量、不适闭源软件等局限。
Karpathy提的“软件3.0”已过时，交互即智能才是未来 | 上交大&创智刘鹏飞
上海交通大学刘鹏飞团队认为，2024年9月后，大神Karpathy提出的“软件3.0”已过时，“软件3.5”应运而生。其核心是“交互即智能”，在自然语言易用性基础上实现人机交互认知层面突破。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
【万字长文】大模型训练推理和性能优化算法总结和实践
本文总结大模型落地的训练、推理和性能优化算法与实践，介绍语言模型发展，对比BERT、GPT等训练方式，分析生成式大模型问题，还阐述数据处理、推理优化及训练调优等内容，并给出不同场景技术选型建议。
AIA | 西工大马启悦，高传强等：物理指导的激波抖振抑制翼型优化设计研究
激波抖振影响飞行品质、限制飞行包线。本文提出物理指导的气动优化设计框架，基于DDPG算法，优化RAE2822翼型激波位置与分离区范围，提升抖振起始边界，改善综合气动性能。
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。