「GPU性能分析」共找到 3175 篇相关文章
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
CAI+DeepSeek渗透测试情况及扩展分析
文章对CAI+DeepSeek进行渗透测试。介绍CAI安装，在kali按Ubuntu指令装，使用界面友好。测试中CAI执行指令彻底灵活，扫描分析到位。还提及CAI多种能力，称其作为开源框架全面细致，值得研究。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
基于大模型（LLM）的自选股智能分析系统，让AI帮你盯盘，每天自动推送分析报告
daily_stock_analysis是基于LLM的自选股智能分析系统，免费零成本运行，获6.3万Star。它多市场覆盖、聚合多源数据，自动生成决策报告并推送。有零成本运行等五大亮点，还给出上手步骤、适合人群。
新国产GPU「曦望」，刚融了10个亿
国产GPU公司曦望Sunrise由商汤2024年底分拆独立，时隔半年完成近10亿融资。其产品曦望S1、S2已量产，S3在研发。两位联席CEO分别是百度元老王湛和AMD芯片老将王勇，核心团队规模小但成果显著。
性能提升400%！AutoResearchClaw自主设计多模态记忆大脑
AI助手积累海量多模态数据，记忆和提取成瓶颈。北卡罗来纳大学等团队用AutoResearchClaw让AI 72小时完成多模态记忆系统设计，性能提升超400%，新系统OMNIMEM全面碾压现有主流系统。
摩尔线程新一代GPU架构10天后发布
2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力，主论坛将发布新一代GPU架构，还有20+技术专场和1000㎡科技嘉年华，官网已开放报名。
国产GPU第一股IPO获批，募资80亿
证监会官网显示，摩尔线程IPO注册申请已获批准，从6月30日递交招股书，仅用时4个月。此次IPO计划募资80亿用于研发等。公司业务为GPU相关，核心是MUSA架构，已推四代芯片。
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。