「GPU推理」共找到 2428 篇相关文章
黄仁勋达沃斯首秀：GPU一卡难求，何来AI泡沫？
英伟达CEO黄仁勋在达沃斯首秀时力挺AI，提出‘五层蛋糕理论’，总结2025年‘三件大事’。他认为AI能增加就业、推动经济，回击‘AI泡沫论’，号召各国构建自己的AI。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
老黄极限游说成功！美国想卖中国英伟达GPU了？
英伟达CEO黄仁勋亲自游说，使限制其先进AI芯片出口的《GAIN AI法案》未被塞进国防法案。此前“对华鹰派”与英伟达等行业巨头激烈博弈，虽法案暂时搁浅，但新提案正在酝酿。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
突发，马斯克xAI解散了！22万张GPU忍痛全给Claude
马斯克官宣解散xAI并入SpaceX，同时将全球最强超算Colossus 1租给Claude。此前xAI与OpenAI竞争不利，Grok表现不佳且亏损严重。马斯克此举类似谷歌策略，可赚钱、扶持对手、盘活资产，还在法庭起诉OpenAI。
无需租GPU，一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。