CPU优先推理」共找到 2239 篇相关文章

推荐文章7

TileLang深入详解-第一章-GPU 体系结构复习

作者借长假学习 TileLang 并撰写此文,先复习 GPU 体系结构,包括计算与线程组织、存储层次、专用指令单元,接着介绍核心性能模型与优化原理,最后给出基于 TileLang 的基准测试实践。

GiantPandaLLM
产品应用7

基于Spring AI Alibaba 的 DeepResearch 架构与实践

本文基于 SpringAI Alibaba Graph 构建 Java 版 DeepResearch 系统,实现信息搜集到报告生成的全自动流程。介绍系统能力、架构、核心功能节点及技术点,还阐述 RAG、搜索、MCP、报告生成等功能,给出使用、部署和社区参与方式。

阿里云开发者
开源动态8

如何在24GB显存里,塞下一个万亿参数的巨兽?KTransformers入选顶会SOSP

清华大学与趋境科技联合研发的KTransformers系统,可让消费级显卡跑万亿级参数模型,其论文入选SOSP 2025。该系统解决MoE模型本地部署难题,技术创新多,还与SGLang合作,提升硬件利用率。

AIGC开放社区
算法论文7

老牌Transformer杀手在ICLR悄然更新:Mamba-3三大改进趋近设计完全体

Transformer架构仍是AI主流,Mamba作为挑战者影响力大。Mamba-3在ICLR 2026盲审,有梯形离散化、复数化状态空间模型、多输入多输出状态空间模型三大改进,实证表现佳,适合多场景。

机器之心
开源动态8

CrowdStrike联手Meta发布AI安全基准,让AI在真实网络攻击中证明自己

美国网络安全巨头CrowdStrike与Meta在Fal.Con 2025大会联合推出开源基准测试套件CyberSOCEval,旨在评估AI大语言模型在真实SOC环境下的网络安全能力,它源于Meta之前框架,开源供全球开发者使用。

AIGC开放社区
推荐文章8

YC总结的vibecoding核心指南「如何充分利用Vibecoding 」

顶尖孵化器 Y Combinator 总结了 vibecoding 核心指南,涵盖规划流程、版本控制、测试框架等多方面内容,为开发者提供了利用 AI 进行开发的实用策略和方法。

AI寒武纪
算法论文8

刚刚,清华团队用27M参数击败o3-mini!或将改变AI发展方向

清华大学研究团队发布论文,展示Hierarchical Reasoning Model(HRM)。该模型仅27M参数、1000个训练样本,在推理任务上击败OpenAI的o3 - mini - high,或改变AI发展方向。

AGI Hunt
算法论文7

清华-腾讯联手:音频 - 视觉多模态任务统一框架

Crab是人大、清华和腾讯合作论文提出的模型,目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点,通过构建数据集、设计结构和统一架构实现多任务合作。

CourseAI
7

国产大模型高考出分了:裸分683,选清华还是北大?

字节跳动Seed团队公布全球第一梯队大模型“高考成绩”,Gemini理科655分排第一,豆包文科683分排第一、理科648分排第二。文章解析评测标准,分析各科目表现,还介绍豆包能力提升技术亮点。

量子位
开源动态7

OmniAvatar震撼开源!阿里夸克开源全新音频驱动角色模型

音频驱动人体动画技术有局限,阿里夸克团队推出OmniAvatar模型。它用逐像素多层次音频嵌入和LoRA训练法,解决唇动同步等问题,适用于多领域,但也存在颜色偏移等不足。

带你学AI