「推理性能优化」共找到 4173 篇相关文章
开源即登榜！登顶全球前十AI编程智能体，UCL初创团队开源Prometheus
UCL初创团队EuniAI开源AI软件智能体Prometheus，在SWE - bench Verified上Pass@1达71.2%，成绩入官方主榜。它有图结构推理设计，能理解代码，成本低，官网有Demo展示其工程化能力。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
【万字长文】Anthropic发布Prompt Engineering全新指南
Anthropic发布全新Prompt Engineering指南，涵盖元提示、模板等关键技术。介绍了prompt类型、必备要素，还给出优化技巧，如添加示例、思维链精炼等，涉及XML标签、链式提示等方法，也提及减少幻觉、提高一致性等内容。
Meta Shuffling的MoE Grouped GEMM kernel benchmark
作者拷贝fbgemm开源的moe grouped gemm kernel，修复小bug后与SGLang的Grouped GEMM Triton Kernel对比，结果显示fbgemm在MoE模型上性能提升显著，可应用到SGLang的ep - moe的grouped gemm kernel中。
百度想明白了：旧供给到达极限了
当下企业应用AI时，Token成本高、推理效率低问题凸显。百度Create大会释放旧供给达极限信号，推出新全栈AI云，含Agent Infra和AI Infra两层架构，多个场景应用初显成效。
谁说老实人赚不到钱？Claude用一张3500亿的支票打脸OpenAI
2026开年，Anthropic计划融资100亿美金，估值从1830亿涨至3500亿。曾因理念分歧从OpenAI出走的Amodei兄妹，带领Anthropic专注技术与AI安全，在营收、性能等方面反超OpenAI，上演逆袭。
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
英伟达CEO黄仁勋做客美国第一播客Joe Rogan，畅谈AI底层逻辑与技术演进，还分享英伟达创业历程。他指出AI已从检索转向推理，数据中心成“AI工厂”，并坦言每天担心公司倒闭。
一个模型读懂所有医学数据，Hulu-Med探索医学大模型开源新范式 | 浙大x上交xUIUC
Hulu - Med是浙大、上交、UIUC等联合提出的通用医学视觉语言大模型，首次在单一模型统一理解医学多类数据。它开源透明，训练成本低，性能媲美GPT - 4.1，为医学AI带来新范式。
自媒体误读了 DeepSeek-OCR：一图胜千言
近期，DeepSeek-OCR引发关注，但很多媒体误读其为OCR工具，实际是视觉语言模型。它是为大文档等场景优化的视觉压缩与识别系统，架构新颖，训练讲究，效果出色，为行业带来新思路。
一颗 1.8 纳米芯片，成了英特尔「最后的救赎」
2025年10月9日，英特尔公布基于18A工艺的酷睿Ultra系列第三代处理器Panther Lake。它集成多部件，性能提升大，还将用于机器人等。此前英特尔危机四伏，此产品发布意义重大，成败影响深远。