「推理部署」共找到 2654 篇相关文章
别争了，OpenAI才是云厂商的「最大甲方」
OpenAI与亚马逊达成380亿美元基础设施协议，将在AWS运行AI产品。AWS为其优化算力设施，预计2026年底全面部署，2027年后可扩展。OpenAI已签多项巨额合同，也引发AI泡沫担忧。
用 Warpgate（5.8k star）在不装客户端的情况下，如何实现透明审计、统一堡垒与会话回放？
Warpgate 是完全透明的 SSH / HTTPS 等堡垒解决方案，无需额外客户端。能部署在 DMZ，提供会话录制等功能，以单一可执行文件发布，用 Rust 编写。文章介绍其痛点场景、功能、架构、上手步骤、应用场景等。
RL 是新的 Fine-Tuning
今年 9 月，Thinking Machines 研究使 LoRA 重获重视。OpenPipe 创始人 Kyle Corbitt 访谈指出，多数场景微调 ROI 低，RL 将融入 agent 生命周期成主流，但 RL 落地难在环境搭建，World Model 或为关键。
最强开源0.9B级OCR模型！本地Agent、知识库都有救了！
百度飞桨PaddleOCR团队开源多模态文档解析模型PaddleOCR-VL，参数量仅0.9B，对算力要求低。它在OmniDocBench V1.5榜单屠榜，经测试，能精准识别发票、图表等，适合本地环境与资源受限设备。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展，调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版，在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片；调度器优化了资源计算和可观测性；应用层与vLLM、Xinference等整合。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火，一夜近5k star
AI大神Andrej Karpathy发布开源项目nanochat，可教你100美元自建ChatGPT，覆盖LLM训练和推理。项目有8000行代码，不到12小时获超4500 star，功能丰富，但他认为它不适合个性化应用。
大模型追逐星辰大海，GPT和Gemini国际天文奥赛夺金
新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试，证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型，强调需全面评估模型科研潜力。
让YOLO飞起来：从CPU到GPU的配置指南
文章指出默认安装的YOLO用CPU计算，处理大量图像或实时检测任务效率低。详细介绍将YOLO从CPU模式切换到GPU模式的步骤，对比性能，还给出常见问题解决办法，能显著提升运行效率。