「GPU推理」共找到 2390 篇相关文章
破解AI对不同上下⽂位置的敏感度不⼀致，新框架使出“解铃还须系铃人”
语言模型存在位置偏见，影响复杂推理等任务。论文提出Pos2Distill框架，将模型优势位置能力迁移到劣势位置缓解偏差，设计了Pos2Distill - R1和Pos2Distill - R2，在检索和推理任务表现好且有跨任务泛化能力。
构建会“说话”和“行动”的 AI：生成式数字人技术与 EchoMimic 实践
在 QCon 全球软件开发大会上，支付宝李宇明围绕 EchoMimic 介绍生成式数字人进展、技术、应用及研究思路。对比传统数字人，生成式数字人成本低、易控制，但也有技术新、推理成本高的问题。EchoMimic 两版本已开源，经优化推理速度可提升。
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
争夺3500亿估值！谁会是真的“中国英伟达”
6月30日，摩尔线程和沐曦同日递交科创板IPO申请，预计未来A股将涌现近10家“中国英伟达”。这轮上市潮源于政策松动，且美国出口管制为国产GPU提供了市场窗口期，但竞争也日趋激烈。目前国产GPU营收与亏损齐飞，未来需构建生态并解决产能问题。
英伟达GPU，将沦为白菜价
硅谷投资大佬Peter Thiel称AI芯片最终会成白菜价。当前英伟达靠垄断赚大钱，但AMD、ASIC、TPU、Trainium等正围剿它，利润将从硬件层转移到应用层，英伟达可能慢慢走下坡路。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例，对比普通和向量化版本，通过查看SASS代码，解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
国产GPU造富狂欢：谁是最大赢家？
2025年12月，摩尔线程和沐曦股份上市引发资本市场狂欢，股价暴涨带来造富效应。国资背景投资方在两家公司上市前占据重要地位，私募大佬葛卫东等也入局。但两企业未盈利，面临技术、竞争等挑战。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。