「多模型推理」共找到 9928 篇相关文章
英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5，实现SOTA表现，吞吐量提至前代3倍，可单卡高效运行。它采用NAS优化架构，经多数据集训练，现已开源。
重磅！OpenAI时隔五年再发布开源模型gpt-oss：开源SOTA，可在16g笔记本运行
谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。
真可用！美团数字人模型开源，MV、电商等统统拿下
美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。
“甲方快乐模型”诞生，拿下平面设计新SOTA！多条件一键生成，还能独立调整元素 | 复旦＆字节
复旦大学和字节跳动团队联合提出CreatiDesign新模型，可实现高精度、多模态、可编辑的AI图形设计生成。它解决了以往方法在处理图形设计时的难题，在多维度评估基准上表现出色，还支持多轮编辑。
首创像素空间推理，7B模型领先GPT-4o，让VLM能像人类一样「眼脑并用」
当前主流视觉语言模型（VLM）依赖文本token间接翻译视觉信息，缺乏直接视觉操作能力。滑铁卢大学等团队提出「像素空间推理」范式，让VLM能像人类一样「眼脑并用」，在四大视觉推理基准测试中，7B的Pixel - Reasoner表现碾压GPT - 4o等。
英伟达推理服务器被曝高危漏洞，云端AI模型被攻击直接裸奔
安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链，可组合利用实现远程代码执行，造成模型被盗、数据泄露等后果。英伟达已发布补丁，25.07版本前系统有风险。
DeepSeek-R1发布100天后：全面复盘推理大模型复现研究及未来！
推理语言模型（RLMs）发展显著，DeepSeek - R1发布引发广泛影响且未完全开源。MiroMind等总结其复现研究，关注SFT和RLVR方向，介绍数据构建、方法设计、训练过程细节及实验关键发现。
开箱即用、本地安全、多 Agent 协同解决方案！
过去一年，Agent热度高，但企业应用面临算力、安全和部署门槛。5月22日浪潮信息推出元脑智能体工作站Z3，整合大模型本地推理等功能，解决本地多Agent运行问题，降低使用门槛，保障安全。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。