「推理服务基础设施」共找到 2930 篇相关文章
阿里云发布Qwen Cloud，加速AI出海！
阿里云在新加坡面向海外发布Qwen Cloud、Agent产品MuleRun等一系列产品及更新，实现云基础设施升级。Qwen Cloud是全新AI产品官网，Qwen3.7 - Max位列全球第五，Qoder用户超500万，阿里云基础设施迈入Agentic Cloud。
刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
文章介绍了MMSI - Bench，这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板，还开发自动化错误分析流程助力改进。
奥特曼摊牌：别再比模型跑分了，苹果才是真宿敌
2025年模型发布密集，但方向一致在补短板，更像基础设施建设。2026年各玩家或集体解锁，真正换代要让AI成文明基础设施。奥特曼称OpenAI长期对手是苹果，还拉Jony Ive造秘密设备。
告别「解码器饥饿」！中国科学院NeurIPS推SpaceServe，高并发克星
中国科学院计算技术研究所入选NeurIPS 2025的论文提出SpaceServe架构，将LLM推理P/D分离扩展至多模态场景，通过EPD三阶解耦与「空分复用」，解决MLLM推理行头阻塞难题，在Qwen2 - VL系列模型实测中表现出色。
吴恩达：AI 将最先杀死前端
AI 对程序员的影响引发热议，吴恩达在 Newsletter 中给出加速排序：前端 > 后端 > 基础设施 > 科研。他认为前端开发被加速最厉害，后端需更多人工引导，基础设施和科研领域 AI 作用有限。同时指出初级、缺乏协作和创造性的工作易被取代。
实时交互式长视频生成
文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。