「推理服务基础设施」共找到 2938 篇相关文章
众安信科参与打造宠物数字身份证 重磅亮相2025外滩大会 | 甲子光年
2025外滩大会上，众安保险与众安信科联合推出“NFT宠物数字身份证”外滩大会限定款，将RWA代币化技术与宠物健康管理结合。众安信科深度融合RWA与AI技术，打通宠物服务全链路，构建新生态。
从 AI 招聘到数据标注，Mercor 能否打造下一个 Scale AI？
Mercor 从 AI 招聘平台转型为数据标注服务提供商，与 Scale AI 竞争。它利用早期人才招聘积累，为小规模、高难度项目提供灵活方案，虽数据质量待提升，但增长快，2025 年初 ARR 达 7500 万美元，获 1 亿美元 B 轮融资。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日，腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行，适用于低功耗场景。模型具备推理快、性价比高特点，亮点是Agent和长文能力，已在腾讯多业务应用。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
GPT-5七月上线？内部爆料+奥特曼疯狂暗示，自曝前方时刻「令人恐惧」
近日，多方消息显示OpenAI可能7月发布GPT - 5，奥特曼也确认o3 pro快来了。人们对GPT - 5期待颇高，猜测其能力有提升也有局限。奥特曼访谈透露AI会带来多方面变化，应服务个人意志。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
万字实录：VLA 范式，具身智能的曙光与迷雾丨GAIR Live
2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。
只用国产GPU训练的大模型性能飙升100%！国内唯一，更懂你
科大讯飞发布全国产算力训练的讯飞星火X1.5，推理效率暴涨100%，综合性能跻身全球顶级。还首发非自回归语音大模型架构，效果提升、成本降低。此外，展示多领域应用成果，发布相关产品，开源智能体平台。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。