「示例优化」共找到 1354 篇相关文章
最高能效比!他又死磕“存算一体”2年,拿出全新端边大模型AI芯片
后摩智能CEO吴强在今年WAIC期间发布业界能效比最高的存算一体端边大模型AI芯片后摩漫界®M50。它搭载第二代存算一体技术,全栈自研实现软硬件协同优化,还配套系列产品,构建端边智能新生态。
ROLL:面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架,专为LLM训练优化。它设计灵活,不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色,还采用创新机制提升效率,支持自定义操作,适合学术和业务场景。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存,它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能,指出块或 warp 一次访问时,常量内存快 10%;线程一次或伪随机访问时,慢很多。
让AI智能体拥有像人类的持久记忆:基于LangGraph的长短期记忆管理实践指南
文章围绕让AI智能体拥有持久记忆展开,深入探讨Agent Memory概念,聚焦LangGraph框架下长短期记忆实现,详解存储、管理、检索技巧,还通过引入MCP协议的实战案例展示构建多Agent系统。
LlamaIndex 深度实战:用《长安的荔枝》学会构建智能问答系统
文章兼顾 RAG 科普与 LlamaIndex 实战。介绍 RAG 原理,用《长安的荔枝》讲解关键步骤和参数。实战部分展示用 LlamaIndex 搭建问答系统,代码量少。优化篇通过实验给出参数调优建议,架构篇剖析内部机制,最后提及 Agent 化拓展功能。
墙体的AI革命!智能超表面如何让建筑「听懂」6G信号?
在5G基站功耗高、室内信号衰减成瓶颈的当下,文章探讨6G如何借智能超表面和建筑无线友好性优化室内流量。还分析建筑设计对信号的影响,以及人类移动行为给超表面嵌入建筑信道带来的挑战。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1
本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其低延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
DeepSeek正开发高级AI Agent模型,硬刚OpenAI
彭博消息,DeepSeek正开发高级AI Agent模型与OpenAI竞争。此模型能在极少指令下执行多步任务并自我优化,计划Q4推出。此前该司模型表现佳,技术已在多领域落地,但构建AI Agent仍有挑战。
刚刚,英伟达新模型上线!4B推理狂飙53倍,全新注意力架构超越Mamba 2
Jet - Nemotron是英伟达推出的小模型系列(2B/4B),由全华人团队打造。其提出PostNAS与JetBlock,实现架构优化。相比Qwen3等模型,它在多维度准确率更高,H100 GPU上推理吞吐量最高提升53倍。
【博客转载】CUDA Reduction
文章来自Lei Mao,介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性,接着实现两个批量归约求和kernel,还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。