「推理优化与部署」共找到 3516 篇相关文章
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
全国首部！AI 大模型私有化部署标准起草单位 / 个人征集启动！
国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》立项，正征集起草单位和起草人。该标准全流程覆盖、多方面融合、三方协作，能解决企业部署痛点，构建安全可信生态。
全国首部AI大模型私有化部署标准，公开征集起草单位和个人！
近期AI政策频出，企业对人工智能应用需求攀升，倾向私有化部署，但面临诸多问题。国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》立项，现征集起草单位和个人。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
Nature Computational Science | 香港城市大学韦业等：复杂系统深度主动优化
本文通过集成深度神经网络和树探索能力，提出神经网络代理模型引导树探索的主动优化方法。该方法在超2000维数值优化问题中找到全局最优，在多领域表现优于现有方法，为小样本、高维优化难题提供通用技术。
征集全国首部AI大模型私有化部署标准起草单位和个人！
智合标准中心组织起草国内首部AI大模型私有化部署标准《人工智能大模型私有化部署技术实施与评价指南》，已正式立项并征集起草单位和个人。该标准能解决企业部署痛点，有全流程覆盖等亮点。
前端裁员黑科技！PinMe把部署从运维清单划掉，DevOps团队专注业务
PinMe是「一条命令就能部署前端」的命令行工具，在GitHub获约1k Star。它能将静态站点上传到IPFS，写入ENS子域名的contenthash，通过网关访问，无需自搭服务器和配置传统DNS，适合Web3前端部署。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
妈妈再也不用担心延迟了！斯坦福手搓Llama超级内核，推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。