「推理优化」共找到 2993 篇相关文章
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
企业级OpenClaw最强拍档来了！万亿参数的国产多模态大模型，刚刚开源发布
YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。
AI 驱动的大数据自治：TCInsight 智能应对复杂运维挑战
在大数据平台高速发展下，传统专家运维模式难应对复杂问题。腾讯专家工程师熊训德介绍大数据智能管家 TCInsight，其架构分三层，结合规则与专家系统提升自治能力，还分享实践案例，指出后续待优化方向。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
从分钟级等待到20倍超速：LightX2V重写AI视频生成速度上限
今年，开源项目LightX2V在ComfyUI社区走红，单月下载超170万次。它是面向低成本、强实时视频生成的推理技术栈，能在消费级显卡上高效生成视频，还支持多种模型和硬件，覆盖不同用户需求。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
从静态模型到数字生命体：自进化AI Agent综述
近年大型语言模型催生AI智能体发展，但现有系统依赖人工预设，难适应动态环境。论文提出自进化AI智能体，可通过环境反馈自动优化，还提出三定律、四阶段范式演进模型等，开源EvoAgentX框架。
内幕曝光：OpenAI模型坦承不会第六题，3人俩月拿下IMO金牌！
OpenAI三人团队俩月让AI达IMO金牌水平。他们用多智能体系统技术，使模型能短时间解复杂问题。新模型有自省能力，减少“幻觉”问题。此次突破是通用推理技术进步，未来将整合进更多模型。
最新12种GraphRAG技术全面评测
6月两篇论文对12种GraphRAG技术评测。GraphRAG通过构建图结构组织知识，在复杂推理等任务中优于传统RAG。不同GraphRAG技术在图构建、知识检索上表现各异，如RAPTOR图构建慢但令牌消耗少。
开箱即用、本地安全、多 Agent 协同解决方案！
过去一年，Agent热度高，但企业应用面临算力、安全和部署门槛。5月22日浪潮信息推出元脑智能体工作站Z3，整合大模型本地推理等功能，解决本地多Agent运行问题，降低使用门槛，保障安全。