「推理工程」共找到 2748 篇相关文章
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
开源知识库，从 0 到上线，UltraRAG 企业知识库全流程实战 ，也许这是RAG最好的框架之一～～～
UltraRAG是基于MCP架构的轻量级RAG开发框架，核心设计工程友好。其3.0版强调推理可视化，适用于科研复现、企业知识库问答等场景，还介绍了使用方式，能解决RAG落地痛点。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
GPT-5「降智」真相曝光：不是变笨，而是五个超级开关没激活
新智元报道，OpenAI最新提示工程指南揭秘调教GPT - 5的方法。通过调整自主探索倾向、推理深度等五个开关，可让GPT - 5从偶尔靠谱变全能，还介绍了元提示小技巧解锁其潜力。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
伯克利神作背刺OpenAI：持续学习才是真神！
伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。
警惕全球“最大”芯片IPO的暴雷风险
Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。