「评估优化」共找到 1853 篇相关文章
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
优化搜索系统：平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。
我用了13年，与SEO前辈们出现在一起。白杨SEO从网站优化到AI搜索优化经历分享，百度SEO不放弃！
白杨SEO分享从网站优化到AI搜索优化经历，讲述入行缘由、职场项目，介绍自由职业业务，分析百度SEO阶段与变化，建议别放弃，还给出对SEO未来看法，如回归国外、做新媒体SEO等。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
大模型评估排障指南 | 关于 LaTeX 公式解析
这是大模型评估排障指南系列第二篇，聚焦 LaTeX 公式解析。评估难点是解析和比较模型输出与标准答案，无标准方法。lm - evaluation 框架用 sympy 解析准确率约 0.94，还给出缓解问题办法。
王云鹤眼中的Harness：复杂优化问题，AGI灵魂争夺之战
王云鹤在知乎文章中探讨Harness Engineering，指出Agent=Model+Harness，多模型配合能提升Agent能力。还分析Harness存在的必要性，认为它是复杂优化问题，关乎AI“灵魂”之争。
跨芯片统一优化，DLCompiler与DLBlas驱动算子极致表现
9月10日，上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器，后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点，在多芯片上实现性能优化，还解决了DSA芯片优化难题。
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
FACTS 基准测试套件问世，用于评估大型语言模型的事实准确性
FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。