「GPU推理」共找到 2428 篇相关文章
Ollama升级模型调度系统：内存管理更精准，多GPU性能提升
Ollama升级模型调度系统，精确测量运行模型所需内存，带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升，更多模型正迁移，还在开发iGPU支持，评估NPU支持。
实测爆火的阶跃星辰Step 3，性能SOTA，开源多模态推理之王
在 WAIC 2025 前一天，阶跃星辰推出新一代基座模型 Step 3，它是开源 VLM 新晋之王，性能超同类别开源模型，与顶尖闭源 VLM 也有一战之力。该模型具备多开好省特点，还展示了宏大技术生态与商业化布局。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
Unsloth-MLX：在Mac上微调LLM，代码无缝迁移到云端GPU
对于Mac用户，在原型实验阶段反复租云端GPU是资源浪费。开发者推出Unsloth - MLX，基于MLX框架，让Mac用户本地高效微调大模型，改一行导入语句就能无缝迁移代码到云端，还介绍项目特点、状态等。
英伟达炸裂业绩打飞“AI泡沫”，黄仁勋：云端GPU卖光了
英伟达财报超预期，盘后股价飙升，带动行业股票反弹。黄仁勋称云端GPU售罄，驳斥“AI泡沫论”。其业务多板块增长，不过毛利率回落，因业务结构转型。市场对AI投资热潮看法不一，黄仁勋称是“AI良性循环”。
刚刚，OpenAI开源了两个大模型~
OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B，用于安全用例。有安全推理训练、自带策略等亮点，适配不同显存，采用宽松许可证。
推理之父走了！OpenAI七年元老离职：有些研究这里没法做
新年伊始，OpenAI研发副总裁Jerry Tworek离职，他是编程和两大核心技术路线奠基者，攻克LLM编程和复杂推理商业化难题。他称想探索在OpenAI难开展的研究。此前已有多位核心人才出走，OpenAI或因商业化与安全问题留不住人。
击败Meta登榜首：推理增强的文档排序模型ReasonRank来了
本文第一作者刘文涵聚焦AI搜索研究。提出推理增强的文档排序模型ReasonRank，在多个榜单击败多校和机构登榜首，其7B版本超越32B模型，论文获Huggingface paper日榜第一。还介绍研究动机、方法及实验结果等。
几张GPU干翻超算！耶鲁AI颠覆化学合成，实验成功率71%
近日，耶鲁大学李昊特团队开发 AI 系统 MOSAIC，将化学合成知识分 2498 个领域训练专家模型。测试中对超 35 种新化合物合成成功率达 71%，还完成难反应与新反应，相关论文发表于《自然》。
无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%
当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。