「实时推理」共找到 2344 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
OpenAI主攻速度的第一个模型来了：GPT‑5.3‑Codex‑Spark
OpenAI发布GPT-5.3-Codex-Spark，是GPT-5.3-Codex轻量级版本，也是首个为实时编程设计的模型。亮点是速度快，推理超每秒1000 token，已向ChatGPT Pro用户开放，后续规划融合两种工作模式。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
腾讯混元团队最新研究：让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》，尝试让模型在推理阶段根据输入实时动态生成适合任务的参数，而非依赖固定参数。通过多类实验验证，这种方式在图像编辑等任务中有明显优势，还降低了训练复杂度。
打破视频推理「先看后想」惯性，实现真正的「边看边想」丨CVPR'26
现有大型视觉语言模型（VLM）在实时场景表现不佳，宁波东方理工大学沈晓宇团队提出TaYS，让VLM从“帧文交错”切换到“并行”，实现“边看边想”，在准确性和延迟上表现出色，推动VLM走向更真实应用。
首个真正“能用”的LLM游戏Agent诞生！可实时高频决策，思维链还全程可见
超参数科技推出全新游戏智能体COTA，它由大模型原生驱动，操作似职业选手，决策如教练，推理链路清晰。在自研FPS游戏Demo中表现出色，还打破‘不可能三角’，有望重构游戏人机关系。
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
李飞飞50亿美金赛道被开源！浙大教授章国锋带队创业，打造无限时长实时3D世界模型
2024年李飞飞创立的World Labs入局空间智能赛道，估值达50亿美元。近日影溯发布并开源实时帧生成模型InSpatio - WorldFM，由章国锋领衔，该模型突破2D局限，效率高、能无限时长推理，展现出高工程可用性。
「百万级」视频推理数据集！30+顶尖高校联合发布
AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。