「性能对比」共找到 2300 篇相关文章
单向VLM变双向!人大斯坦福等提出MoCa框架:双向多模态编码器
人大、斯坦福等机构提出MoCa框架,将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调,解决传统模型局限,在多模态基准测试中表现优异,尤其小规模模型性能突出。
奖励模型预训练新范式POLAR:突破强化学习短板,有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈,上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制,契合强化微调框架,通过对比学习训练,实验证明其性能和泛化性佳,有望打通RL链路扩展最后一环。
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。
DeepSeek V4正式版太便宜辣!5毛钱做出3D射击游戏,网友直呼绷不住
DeepSeek V4 Flash正式版API上线公测,其价格便宜得离谱,如0.07美元就能制作第一人称3D射击游戏。与Claude Opus 5、GPT - 5.6等对比,功能相近但成本低很多。它靠MoE架构等降低成本,还提升了性能。
CUDA-MODE第77课课程笔记:用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态,涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式,对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目,并给出使用建议。
OpenAI新Agent遭中国24人初创团队碾压!实测成本、质量全输惨,海外用户:中国Agent代差领先
今日凌晨,OpenAI 推出 ChatGPT Agent 新功能,能让 AI 助手完成多步骤任务。虽官方称其性能先进,但实际效果有局限。海外用户将其与中国团队产品对比,发现中国 24 人初创团队产品成本、质量更优。
英伟达护城河被AI攻破,字节清华CUDA Agent,让人人能搓CUDA内核
近日,字节跳动Seed团队和清华AIR的CUDA Agent引发轰动。它能编写经优化的CUDA内核,性能超torch.compile等。研究发布CUDA - Agent - Ops - 6K数据集,介绍系统管线设计、训练流程,实验结果佳,但有未对比复杂编译器等局限。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
TileLang深入详解-第二章-TileLang 核心编程抽象
文章深入解析TileLang核心编程抽象,介绍写kernel的方式,阐述TileLang三层抽象特点及适用场景,展示JIT工作流、接口和执行后端,还提及性能优化、基准测试、正确性校验,最后用GEMM示例对比三层抽象差异并给出使用建议。
NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。