「AI推理加速」共找到 11202 篇相关文章
别再嫌弃MySQL了!AI时代,当DuckDB拥抱MySQL
本文围绕MySQL DuckDB引擎展开,介绍其产品形态演进,如推出只读与主实例。阐述主实例在Binlog适配、高可用与数据安全、数据入库、兼容性等方面能力,还分享出行平台实践,提及未来数据湖集成方向。
DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini
DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
刚刚,Anthropic 发布 Claude「宪法」:一份写给 AI 的人生指南
Anthropic 公开给 Claude 写的数万字「宪法」,从「规则清单」升级为「价值体系」,设定四个核心价值,有「聪明朋友」理论,设硬性限制,对诚实要求严格,还探讨意识等问题,强调透明度和持续进化。
当 AI 接管钱包:Agentic Commerce 如何重构互联网经济?
本文是 Altiemeter 合伙人 Freda Duan 对 Agentic Commerce 的深度解读。探讨其商业可行性,分析不同电商模式,对比 Perplexity 与 ChatGPT 打法,复盘 Google 和 Meta 电商失败原因,还阐述了其对商家、平台、支付和广告的影响。
谷歌云重磅报告:AI智能体接管2026年企业核心工作流
谷歌云基于调研发布报告,揭示2026年重新定义角色、工作流和商业价值的五大关键趋势,如智能体重塑员工、数字化流水线打通企业、全时在线重塑客户体验等,还强调人才技能重塑的重要性。
刚刚,DeepSeek扔出大杀器,梁文锋署名!暴力优化AI架构
2026新年第一天,DeepSeek发表梁文锋署名新论文,提出「mHC(流形约束超连接)」架构。它仅增约6.7%训练时间开销,就能让27B参数模型性能显著提升,还可能淘汰ResNet结构。
下载量超 1300 万,昇思 MindSpore:AI 框架迈入“超节点时代”
开源五周年,昇思 MindSpore 成绩亮眼,下载量超 1300 万。它完善大模型、部署、科学计算等核心能力,还提出 HyperParallel 架构应对新挑战,正式版及套件明年上半年发布,未来社区将多方向推进。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
GAIR 2025 「数据&一脑多形」分论坛,激辩 AI 演进路径
在 12 月 13 日 GAIR 大会“数据&一脑多形”分论坛上,探讨了数据价值重构与“一脑多形”架构革命。多位嘉宾围绕具身智能数据、“一脑多形”技术展开分享与讨论,为人工智能发展提供新思路。