「推理指南」共找到 2283 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
API协议全景图:从REST到MCP的选型指南
本文以开源项目 HiMarket 为背景,梳理从传统 Web 到现代 AI 场景下六种主流 API 协议,如 RESTful、GraphQL 等,介绍其核心定位、技术特点与适用场景,助开发者厘清相关概念。
文心新出的推理大模型,给了我们信心
在 WAVE SUMMIT 2025 大会上,百度发布文心大模型 X1.1,是 X1 升级版,发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升,全方位测评表现出色,还开源新模型,展现百度全栈 AI 实力。
AI 产品定价指南:按量定价的卡点到底是什么?
本文编译 a16z 与 Scott Woody 访谈,探讨 AI 改变软件定价逻辑及企业应对策略,还补充定价专家 Madhavan Ramanujam 关于 AI 产品定价四象限观点,指出按量定价的难点、适用模式及企业转型要点等。
无需外部数据!AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架,这是无需外部数据的自我提问模型,含提问者和解答者角色。通过强化学习最大化期望奖励,设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
YOLOv8 模型训练入门指南:手把手搞定目标检测AI
本文是从零训练 YOLOv8 模型的完整实录,介绍了 YOLOv8 特点,以“识别猫”为例,详述训练步骤,指出训练难点,还推荐学习资源与工具,鼓励前端程序员尝试做 AI 模型训练。
构建分层的 Agentic RAG 系统:具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”,介绍 Protocol - H 架构,阐述组件、机制、实现与集成,经基准测试验证其优势,还提及未来研究方向。
一个文件让 AI Coding 效率翻倍:AGENTS.md 实践指南
文章围绕如何写好 AGENTS.md 展开,介绍其是给 AI 看的项目指令,能解决项目对 AI 不友好的痛点。还阐述了编写原则、实践方法、选择原因、模板和实施建议等,可让 AI 高效理解项目,提升开发效率。
Qoder Skills 完全指南:从零开始,让 AI 按你的标准执行
文章介绍Qoder Skills,它是强大AI定制方式,像菜谱让AI按标准执行。阐述本质、结构、原理,对比与其他工具差异,说明适用场景、安装方法,还有实战演示、编写规范、测试迭代及团队协作等内容。
【开源】build-your-own-x:30+领域造轮子教程,程序员内功提升指南
开源项目 build-your-own-x 收录 30+ 领域「从零造轮子」教程,解决学编程只知用不知原理的问题。涵盖 3D 渲染、AI 模型等多领域,多语言可选。介绍学习好处、使用方法,还推荐优质教程。