搜索：推理性能优化

「推理性能优化」共找到 4217 篇相关文章

【博客转载】NVIDIA Docker CUDA Compatibility /Nsight Compute In Docker

本文围绕NVIDIA Docker CUDA兼容性及Nsight Compute展开。指出使用NVIDIA NGC CUDA Docker容器时，要保证宿主机CUDA驱动与容器内运行时库版本一致，否则会有问题。还介绍了在Docker中安装和使用Nsight Compute的方法及示例。

AI大牛田渊栋团队利用连续空间“叠加态”让大模型并行推理，提升图可达性等任务表现，为连续思维链提供理论支持。还设计注意力选择器等机制，实验显示连续思维链模型准确率更高。此外，田渊栋还是科幻小说家。

文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。

医学世界模型（MeWM）是创新AI系统，能模拟疾病演变、预测肿瘤变化，助医生术前评估治疗效果、优化方案。港科广等团队提出该模型，有肿瘤演变模拟等三核心贡献，在多方面实验表现佳。

伯克利和斯坦福团队让GPT - 4.1变身「科研预言家」，从顶会提取想法对比案例训练，不借助实验验证，靠推理押注。其在公开题库测试、人类专家团战等测试中表现出色，还能预测AI新点子。

香港大学与英伟达联合推出广义空间传播网络（GSPN）。它采用二维线性传播与“稳定性 - 上下文条件”，将计算量降低，保留图像空间连贯性。在多视觉任务刷新性能纪录，如高分辨率生成加速超84倍。

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

2025年5月，滑铁卢大学等团队发布Paper2Poster系统，用大模型将论文自动生海报。它提出PosterAgent多智能体方法，分解析、规划、绘制优化三阶段，生成效果好且开源，不过也存在效率和创意不足问题。

Vercel推出新AI模型v0系列，采用复合模型架构，将RAG专业知识、SOTA大模型推理能力和定制流式后处理模型结合，能提升代码生成质量，且基础模型升级时可快速替换，还训练了定制AutoFix模型。

2024年4月28日，「AI共潮生—2025甲子引力X科技产业新风向」大会举办。伯牙智能CEO刘欣分享称，AI在物理世界赋能需灵巧手，其操作发展尚处初期，有软硬件挑战，还提出对数据及触觉传感能力的新思考。