生产级架构」共找到 2809 篇相关文章

算法论文8

首次披露!DeepSeek V3 发布软硬一体协同训练论文,公开「降成本」秘诀

DeepSeek团队发布论文《洞察DeepSeek - V3:规模的挑战和对AI架构硬件的思考》,从硬件架构和模型设计双重视角,探索其经济高效的大规模训练和推理方法,介绍了设计原则、低精度驱动等多方面内容及降成本秘诀。

AI科技评论
新闻资讯7

小米小爱同学:资源受限下,实现端侧大模型的高性能推理

InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。

AI前线
算法论文8

ICCV 2025|UV-CoT:无监督视觉推理新突破,偏好优化重塑图像思维链

随着文本领域思维链推理机制成功应用,研究者将其引入视觉理解任务。现有模型有局限,本文提出UV - CoT新框架,设计无监督数据生成与偏好优化机制,提升模型能力,摆脱对人工标注依赖。

机器之心
推荐文章7

RAG系统设计:揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略

在AICon大会上,Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性,揭示其被低估原因,分析本质与作用,分享设计高效架构方法,还讨论KG驱动的RAG系统及范式选择。

AI前线
产品应用8

长视频AI数字人来了!字节×浙大推出商用音频驱动数字人模型InfinityHuman

随着内容创作智能化需求爆发,长时长、高质量数字人视频生成是痛点。字节跳动联合浙大推出商用模型InfinityHuman,打破传统技术局限,解决身份漂移和细节失真难题,已实现多场景商用。

机器之心
产品应用8

全网首测!首款国产GPU「AI算力本」现场上手

新智元报道首款国产GPU「AI算力本」MTT AIBOOK,它搭载国产全功能显卡,预装开发环境,打破系统壁垒。其背后的MUSA架构全栈自研,软件升、有翻译工具,硬件架构革新,还有开源计划,产品应用广泛。

新智元
开源动态8

从分钟等待到20倍超速:LightX2V重写AI视频生成速度上限

今年,开源项目LightX2V在ComfyUI社区走红,单月下载超170万次。它是面向低成本、强实时视频生成的推理技术栈,能在消费显卡上高效生成视频,还支持多种模型和硬件,覆盖不同用户需求。

机器之心
推荐文章8

NVIDIA技术沙龙 《大规模EP优化:PD分离MoE并行方式》课程笔记

本文是NVIDIA技术沙龙课程笔记,介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新,还对比多模型架构,展示推理服务架构性能特点与优化策略,以及各技术工作流程和效果。

GiantPandaLLM
开源动态8

不用上传数据了!苹果正式开源 Embedding Atlas,用 Rust+WebGPU 在桌面实现科研数据分析

苹果发布开源工具 Embedding Atlas,支持对大规模嵌入向量交互式可视化与探索。它在浏览器端运行,保障数据隐私,有多种可视化功能,提供 Python 包和 npm 库,已在 GitHub 开源。

InfoQ
新闻资讯8

刚刚,英伟达新模型上线!4B推理狂飙53倍,全新注意力架构超越Mamba 2

Jet - Nemotron是英伟达推出的小模型系列(2B/4B),由全华人团队打造。其提出PostNAS与JetBlock,实现架构优化。相比Qwen3等模型,它在多维度准确率更高,H100 GPU上推理吞吐量最高提升53倍。

新智元