「并行推理加速」共找到 2748 篇相关文章
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色,但推理机制成谜。本文提出用推理图解码其‘思考轨迹’,分析环状结构、直径大小和小世界特性,发现蒸馏模型等特点,为理解AI推理及模型优化指明方向。
8B模型任务击败GPT-5?阶跃星辰开源Deep Think新框架,小模型解锁百万Token测试时计算
阶跃星辰推出并行协同推理框架PaCoRe,让大模型突破上下文窗口和处理速度限制。基于此框架,小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5,还具备前沿性能、“综合”能力涌现等优势。
CVPR2026满分论文:Proxy-GS为结构化3D高斯溅射引入统一遮挡先验
上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS,面向基于MLP的结构化3D高斯溅射,用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用,在遮挡密集场景实现渲染加速,画质与速度均优。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定,难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计,用TPP并行推理策略和RSFM机制等,5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
AI证伪百年数学猜想被打假!Lean证明惊现漏洞,哥大教授破防了
OpenAI新推理模型取得十项数学进展,如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望,因证明有AI味且难理解。此外,Lean证伪科拉兹猜想被指利用内核漏洞,专家提醒Lean验证有局限。
吴恩达来信:利用编程智能体实现更高效开发
吴恩达认为编程智能体正加速各类软件工作,按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显,后端开发有提升但幅度小,基础设施和研究方面加速有限。
港中文 MMlab×美团新研究:仅用一个模型,应对多种视觉推理任务
港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型,将多种视觉任务抽象为‘先推理、后作答’形式,通过多任务强化学习优化。实验显示其在多任务表现佳,为通用视觉推理模型提供参考。
Qwen3接连放出No Thinking, Thinking两大模型,Gemini2.5 pro顶不住啦
Qwen推出非推理模型`Qwen3 - 235B - A22B - Instruct - 2507`后,又放出推理模型`Qwen3 - 235B - A22B - Thinking - 2507`。非推理模型在多方面功能增强,推理模型能力强,超DeepseekR1,可试用。
清华校友出手,8B硬刚GPT-4o!单一模型无限工具调用,终结多智能体
MIT等机构推出TIM和TIMRUN组合拳,突破模型token天花板。TIM将推理建模为任务树,TIMRUN优化内存管理。二者结合支持长程推理,实现单模型高效推理,简化智能体构建,在多方面表现出色。
在 Cache-DiT 框架下实现原生 Serving功能
Cache-DiT 是唯品会开源的 PyTorch 原生 DiT 推理加速引擎,此前聚焦离线推理。现实现完整 Serving 功能,支持单卡与分布式推理模式。文章介绍其实现过程、借鉴 SGLang 的设计,还总结踩坑及使用方法。