「GPU优化」共找到 1614 篇相关文章
基于 Elasticsearch 创建企业 AI 搜索应用实践
Elastic 中国社区首席布道师刘晓国，分享基于 Elasticsearch 创建企业 AI 搜索应用实践，介绍其向量搜索技术及 RAG 应用开发，还提及智能时代搜索需求变化、混合搜索优势及 Elasticsearch 优化改进等内容。
帮大模型提速80%，华为拿出昇腾推理杀手锏FlashComm，三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。
英伟达帮你省钱，让大模型推理「短而精」，速度快5倍
过去大模型推理追求长链思维，导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法，通过强化学习优化方法让模型‘短而精’，推理长度减超70%且准确率不变，还适用于大模型。
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。
Fable 5手搓首个CUDA「超级内核」！2.5小时狂飙18.7倍
在GPU算子基准测试KernelBench - Mega中，Fable 5全程纯手搓CUDA，速度狂飙18.7倍，把GPT - 5.5甩开4倍多。它写出史上首个‘超级内核’，2.5小时约55万token完成编写。Anthropic联创称这标志‘RSI循环’开启。
妈妈再也不用担心延迟了！斯坦福手搓Llama超级内核，推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。
上下文就是一切！行业热议话题：提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法，指出其在LLM应用和AI Agent构建中很重要，还分析了重要性、优化方法，给出实践经验，强调要在性能、成本和准确性间平衡。
语音模型也能“freestyle”？可定制角色，模拟背景音
阿里新推两款语音模型，Fun - CosyVoice3.5可基于参考音频克隆声音，优化多方面能力；Fun - AudioGen - VD能进行‘从无到有’音色设计，并模拟复杂听觉环境。用户即日起可在阿里云百炼调用。