「推理服务基础设施」共找到 2938 篇相关文章
一年后，DeepSeek-R1的每token成本降到了原来的1/32
几天前，DeepSeek更新R1论文至86页，公开训练全路径等细节。英伟达发表博客展示在Blackwell GPU上对其降本增效，通过软硬协同提升每瓦特Token吞吐量，还介绍了TensorRT - LLM软件及相关技术提升性能的情况。
8块钱跑通一次强化学习全流程，潞晨云重塑微调赛道：1名算法工程师=1支Infra团队
大模型下半场，后训练特别是强化学习成核心战场。潞晨云微调SDK上线，它是国内首个全面开放、且兼容Tinker范式的Serverless微调平台，为强化学习提供低成本解法，在易用性和成本上有优势。
OpenAI 收购了自己的“甲方”公司
当地时间12月3日，OpenAI宣布收购Neptune.ai，该公司为企业提供AI模型训练跟踪工具，OpenAI本就是其客户。虽未披露财务条款，但报道称将以不到4亿美元股票支付，交易仍需满足成交条件。
5.2K Star！离线也能翻译，零网络高隐私，40+语言的纯本地翻译神器！
日常在线翻译服务有隐私、离线使用等问题，Argos Translate是100%本地运行的离线翻译方案，免费、隐私安全，支持40多种语言，具备多模态接口、GPU加速等功能，适合多种场景。
OpenAI内部代码泄露！最强模型「皇帝」登基，0思考延时吓人
OpenAI代码泄露，神秘的「企鹅家族」模型在测试，代号Emperor的推理预算最高。同时，ChatGPT将推「记忆搜索」功能。此前谷歌Gemini 3抢份额，OpenAI或提速发布GPT - 5.2抗压。
借鉴人脑「海马体-皮层」机制，红熊AI重做了一个「记忆系统」
记忆成AI进化关键，Google Research新论文提出「嵌套学习」范式。红熊AI受业务难题启发，推出「记忆熊」，借鉴人脑机制重构记忆系统，在多场景应用落地，提升了服务质量和效率。
奥特曼怕了！GPT-5.5「大蒜」决战谷歌，红色警报紧急拉响
三年前ChatGPT让谷歌恐惧，如今OpenAI被谷歌逼得拉响‘红色警报’。OpenAI计划发布新推理模型，‘Garlic’预训练有突破，还启动下一代模型。OpenAI调整策略，聚焦提升ChatGPT体验。
美团LongCat扎扎实实做了件难事：LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench，用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点，经四重把关构建，测试显示顶级模型表现不佳，也揭示模型提升空间大。
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
微软AI掌门直击AI乱象！AI意识纯属危言耸听，机器觉醒歧途一条
微软AI负责人Mustafa Suleyman认为只有生物体才有意识，开发者不应追求让AI有意识。他强调区分AI能力提升和拥有意识的不同，反对讨论AI意识，还分享了微软产品相关看法。