技术运行模型」共找到 9438 篇相关文章

开源动态8

英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA

英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5,实现SOTA表现,吞吐量提至前代3倍,可单卡高效运行。它采用NAS优化架构,经多数据集训练,现已开源。

量子位
推荐文章7

2025 年中丨大模型市场分析报告

这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来,企业重心转向推理。Anthropic超OpenAI成市场头号玩家,开源模型采用趋缓,企业换模型重性能,AI支出从训练转向推理。

特工宇宙
推荐文章8

vLLM PIECEWISE CUDA Graph 技术学习笔记

文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。

GiantPandaLLM
产品应用8

0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App

腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。

量子位
算法论文8

告别单一大模型依赖!北航等机构发布综述:大语言模型集成(LLM Ensemble)

北航等机构发布的论文系统性回顾了LLM Ensemble领域进展,介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势,现有推理前、中、后三大集成范式。

PaperAgent
算法论文8

DeepSeek-V3再发论文,梁文锋署名,低成本训练大模型的秘密揭开了

DeepSeek 发布围绕 DeepSeek-V3 的技术论文,从硬件架构和模型设计双重视角,探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计,如 DeepSeekMoE 架构、MLA 架构等,还给出未来硬件架构设计建议。

机器之心
产品应用7

数字技术工人已到岗!时序大模型+Agent已掌握了工厂生产管控技术,比人类更懂工况

基于时序大模型和Agent的数字技术工人,能承担生产操作等关键任务,接手复杂工业环节。国内AI团队打造的河谷平台构建智能体,自研底层技术,以工艺维度训练,上岗快,极峰科技还创新商业模式。

量子位
产品应用7

对话心光:在技术与需求的十字路口,我们选择用AI温暖人心

本文是对心光创始人王禹效和徐璐的访谈。心光是笔记类AI陪伴产品,主界面简洁,功能丰富。团队回顾其发展历程,探讨技术与需求关系、模型选择、用户画像等,还谈及盈利模式、创业时机及未来计划。

AI科技评论
开源动态8

国产免费2B开源语音模型征服《莽撞人》!复刻郭德纲最难贯口

国产免费2B开源语音模型VoxCPM 2,联合OpenBMB开源社区等推出。它能复刻郭德纲《莽撞人》贯口,覆盖九种方言、三十门外语,音质达48000Hz。还可在线体验,有降噪等功能,技术独特且开源工具链完备。

量子位
开源动态8

华为开源7B多模态模型,视觉定位和OCR能力出色,你的昇腾端侧“新甜点”来了

华为推出开源多模态模型openPangu-VL-7B,适配昇腾端侧。它推理性能性价比高,在多核心任务表现突出,技术报告还披露核心技术细节,为昇腾使用者带来新选择,丰富昇腾生态。

量子位