「大语言模型推理」共找到 8238 篇相关文章
英伟达推理服务器被曝高危漏洞，云端AI模型被攻击直接裸奔
安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链，可组合利用实现远程代码执行，造成模型被盗、数据泄露等后果。英伟达已发布补丁，25.07版本前系统有风险。
Hugging Face开源顶级模型：双模式推理+128K上下文，最强3B
今天凌晨，Hugging Face开源顶级小参数模型SmolLM3，参数30亿，性能超同类。它有128k上下文窗口，支持6种语言、双推理模式。架构细节等全开放，联合创始人强烈推荐，称是3B领域SOTA。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
我用 AI 翻译的三个阶段：提示词时代 → 推理模型时代 → Agent 时代
作者分享近 2 年 AI 翻译经验，将其分为提示词、推理模型、Agent 三个时代，介绍 Agent 翻译与提示词翻译区别，还阐述 Skill 创建迭代、三种翻译模式由来等，给出解决一致性问题等方法。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日，腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行，适用于低功耗场景。模型具备推理快、性价比高特点，亮点是Agent和长文能力，已在腾讯多业务应用。
清华姚班团队，开源具身智能视觉语言动作（VLA）模型工具箱，打造行业通用技术底座
清华姚班团队所在的原力灵机公司，开源了基于PyTorch的视觉语言动作（VLA）模型工具箱Dexbotic。它能打造通用底座，解决行业研发困境，其预训练模型表现出色，还与Hugging Face合作推出评测平台。
GAIR Paper 106｜追踪视觉 Token 的演化轨迹，实现无损压缩与 60% 推理加速｜CVPR 2026
近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
密室逃脱成AI新考场，通关率不足50%，暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发，提出EscapeCraft：一个3D密室逃脱环境，用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型，发现它们在推理和探索行为方面存在诸多问题。