「推理与计算」共找到 8244 篇相关文章
英伟达帮你省钱，让大模型推理「短而精」，速度快5倍
过去大模型推理追求长链思维，导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法，通过强化学习优化方法让模型‘短而精’，推理长度减超70%且准确率不变，还适用于大模型。
AI"学霸"也解不出高中题？耶鲁、复旦发布MMSciBench，揭示AI理科推理能力短板
耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。
CNCF 孵化用于 Kubernetes 边缘计算的 OpenYurt 项目
云原生计算基金会（CNCF）宣布 OpenYurt 加入其孵化项目名单。该开源平台由阿里巴巴 2020 年创建，将 Kubernetes 扩展到边缘计算环境，保持与上游 API 兼容，能减少延迟、提高可靠性。
R1时代，RAG-Retrieval技术总结与展望~
RAG - Retrieval提供全链路RAG检索模型微调、推理及蒸馏代码，支持多模型、多loss和训练方式。还发布模型技术报告，设计评估框架，未来探索RL在检索领域应用。
预训练就学会思考！字节、北大等用14亿参数，撬动百亿模型推理能力
字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。
兼顾效率、成本与能力，百灵开源旗舰推理模型 Ring-2.6-1T
5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
1000 行 Java 代码手搓 OpenAI gpt-oss 推理引擎
2025年8月OpenAI发布gpt - oss，作者受相关项目启发，用约1000行Java代码实现gpt - oss推理引擎并发布在亚马逊官方github。文章分享开发体会，介绍模型架构、Java实现、性能优化等内容。
大模型结构化推理优势难复制到垂直领域！最新法律AI评估标准来了，抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam，它含4886道题，每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难，LEXam引入评估新模式，还对不同模型做了测试。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
过去CPU是计算核心，如今GPU崛起取代之。二者架构不同，GPU并行处理强。人工智能、大数据等领域需其能力，软件支持助其普及，未来或融合创新，成计算领域主角。