「低延迟推理」共找到 2954 篇相关文章
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
从 Apple M5 到 DGX Spark ，Local AI 时代的到来还有多久？
近期，黄仁勋将桌面级AI超算DGX Spark交付给马斯克引发热议。同时，Apple Silicon等芯片下放端侧推理能力，本地运行时和端侧模型供给加速成熟。但本地算力等问题仍制约消费终端Local AI大众化落地。
AI引发K型分化：Gemini 3 加剧技术劳动力分化，判断力为王，基础岗位将被AI完全替代，程序员也不例外
2025年11月Google发布Gemini 3，依托多模态MoE架构和“Deep Think”模式，在软件工程等领域实现推理能力质的飞跃。它使前端开发工作重心转移，重构软件工程工作流，赋能白领但带来隐患，还冲击劳动力市场，提升软件掌握门槛。
一个销售数据分析机器人的诞生：看 Dify 如何在 DMS 助力下实现自动化闭环
Dify是低代码AI应用开发平台，但在企业级落地有代码执行和自动化调度瓶颈。本文介绍用“Dify + DMS Notebook + DMS Airflow”架构，以销售数据分析机器人为例，展示构建可调度、可扩展、可运维Agent系统的方法。
你急它不急：GPT-5先判断，再决定「速答」还是「深想」
OpenAI副总裁Jerry Tworek透露，GPT - 5能判断问题难度，分配思考时间，决定何时停下。它升级了推理能力，有了时间感，采用受控思考机制，提升了复杂任务准确率，减少幻觉。其进化历经o1、o3到GPT - 5阶段。
干家务一小时挣1000元，具身智能时代人类新岗位
机器人是AI热门领域，但面临数据荒。训练数据分真实与合成两类，前者质量高但成本高、规模有限，后者成本低。数据标注服务商高价回收做家务等视频作训练素材，各方努力下优质数据仍短缺。
Temperature Scaling可大幅提高Test-Time Scaling瓶颈！
大型语言模型解决复杂推理问题时，测试时扩展（TTS）是提升性能的途径之一。但传统TTS依赖增加样本数量，性能提升有瓶颈。本文提出温度缩放新思路，实验表明其能大幅提升性能，还给出降低成本方法。
从今天起，开源前五，全！是！中！国！大！模！型！
短短一年，LMArena开源模型榜单前五全被中国大模型占领，智谱Z.ai登顶，阿里、DeepSeek等紧随其后。LMArena是权威评测平台，盲测机制保证排名真实。中国模型性价比高，正用开源和低价占领市场。
AI浪潮之下：存储来到聚光灯下
AI浪潮下，行业对存储设备重视上升。其根因是AI业务刺激，数据量增长且推理业务有新需求。信通院报告显示我国存力结构优化，国内厂商迎来机会，平头哥镇岳510主控芯片表现出色，生态建设也在推进。
微软开源3大突破AI Agent模型，仅140亿参数超越DeepSeek-R1
微软研究院开源AI Agent推理模型rStar2-Agent，140亿参数在多测试超6710亿参数的DeepSeek-R1。其通过智能体强化学习，在训练基础、算法、流程上有三大突破，显著提升性能且降低算力成本。