「推理部署」共找到 2634 篇相关文章
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
征集全国首部AI大模型私有化部署标准起草单位和个人！
智合标准中心组织起草国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》，已正式立项并征集起草单位和个人。该标准能解决企业部署痛点，有全流程覆盖等亮点。
前端裁员黑科技！PinMe把部署从运维清单划掉，DevOps团队专注业务
PinMe是「一条命令就能部署前端」的命令行工具，在GitHub获约1k Star。它能将静态站点上传到IPFS，写入ENS子域名的contenthash，通过网关访问，无需自搭服务器和配置传统DNS，适合Web3前端部署。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
妈妈再也不用担心延迟了！斯坦福手搓Llama超级内核，推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
全国首部AI大模型私有化部署标准，公开征集起草单位和个人！
由中国电子商会归口，智合标准中心组织起草的《人工智能大模型私有化部署技术实施与评价指南》团体标准立项，正征集起草单位和个人。该标准可解决企业部署难题，由多元主体联合起草，参与有重要价值。
全国首部AI大模型私有化部署标准，公开征集起草单位和个人！
近期AI政策频出，企业对AI应用需求攀升，倾向私有化部署，但行业面临技术错配等问题。国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》立项，正征集起草单位和个人。
测试时Scaling或是最大错觉，Google：R1/O1强推理另有原因
Google 112 页论文实证，OpenAI 的 o 系列等模型推理能力提升并非仅因计算时间延长，而是源于对复杂互动的隐式模拟。通过三重验证表明推理能力跃迁或因‘吵得更凶’，而非‘算得更久’。
无需多视角，单图重建可交互3D模型！南洋理工开源结构推理框架
南洋理工大学团队提出MonoArt，将单目可动物体重建建模为渐进式结构推理过程，通过四个关键模块逐步推理，无需外部先验，在PartNet - Mobility基准测试中表现领先，兼顾推理效率，还可用于下游任务。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。