「工程优化」共找到 1836 篇相关文章
Harness 工程实践复盘:100% Cache 命中的 Agent 怎么设计?
本文是 ClackyAI 团队在 Harness 工程实践上的复盘。他们经两代失败后用 Ruby 重写第三代 OpenClacky,总结影响成本和效果的 7 个关键决策,如双 Cache 标记、System Prompt 字节冻结等,凸显 Harness 工程对 Agent 产品的重要性。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
成本仅0.3美元,耗时26分钟!CudaForge:颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要,但手动优化门槛高。明尼苏达大学团队提出CudaForge,是低成本多智能体CUDA Kernel生成与优化工作流,实验效果好,成本低且具通用性。
《动手写AI Agent》上下文工程:比 Prompt Engineering 更重要的事
文章围绕AI Agent的上下文工程展开,指出其比Prompt Engineering更重要。介绍了上下文工程的分层组织,包括角色定义、通用规则、项目状态和用户指令,还提及项目感知、.ling.md文件及完整System Prompt的组装。
Routa 桌面版发布:内建 Harness 工程的 AI Coding 研发协作工作台
Routa桌面版发布,它是内建Harness工程的AI Coding研发协作工作台。围绕Routa构建Harness工程框架,Kanban成为任务协议,多Agent沿泳道接力协作,重新定义了‘done’,让AI Coding进入协作与交付问题域。
当SFT遇上RL:基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中,SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法,先判断样本学习阶段再匹配优化路径,在多场景实验中表现出色,不过有实验边界。
MySQL复制延迟终结者:AliSQL 高效AI诊断和四大内核级优化
MySQL主从复制延迟损害实例可用性和时效性。AliSQL引入AI诊断定位原因,针对大表DDL、大事务、批量数据处理和小事务高并发四类场景,进行内核级优化,消除复制延迟。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
大型语言模型稳定强化学习的新路径:几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本,通过优化几何平均替代算术平均,解决GRPO训练不稳定问题,在多任务实验中显著优于GRPO。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。