「并行协同推理」共找到 2542 篇相关文章
为什么HBM能摆脱传统周期?
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动,而AI推理不同,大模型推理对内存依赖是硬约束,GPU更新对HBM需求几乎注定指数级增长。
快慢Reasoning综述!
大型语言模型在复杂推理任务中有‘无差别计算’缺陷,阻碍其在多场景应用。本文提出双层效率优化框架,梳理两类前沿技术,通过实验揭示瓶颈,为轻量化推理指明路径。
字节跳动&清华大学开源多模态时序大模型ChatTS,可实现时序数据对话与推理
字节跳动与清华合作开源多模态时序大模型ChatTS,可实现时序数据对话与推理。它用合成数据训练,解决了数据稀缺等问题,在评估中表现远超基线模型,未来可拓展至更高阶任务。
国产GPU首获全球顶级推理框架「原生门票」:MUSA合入SGLang主线
近日,摩尔线程举办「SGLang × MUSA Meetup」,分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系,代码合入主线,还在多方面取得成果,众多开源项目核心维护者参与探讨国产 AI 算力。
大模型在具身推理上「翻车」了?4496 道题全面揭示短板
美国东北大学等提出BEAR基准评估MLLM具身智能子能力,用4496道题测试20个模型。发现多模态大模型具身能力不足,还分析错因,开发BEAR - Agent提升模型具身推理能力,在仿真测试中效果显著。
DeepSeek-R1发布后的100天复现之旅方法总结
DeepSeek团队发布「推理大模型」DeepSeek-R1 ,其技术细节未完全开源,全球研究团队开启“复现竞赛”。论文总结100天复现经验,介绍推理大模型与普通大模型区别、复现方法、关键发现及未来方向。
强化学习的进化:从PPO到MaxRL,LLM推理训练的算法演进史
本文概述2024 - 2026年推理LLM的强化学习进展,从REINFORCE和PPO讲起,介绍GRPO、RLOO等多种算法。指出critic模型非必需,标准差归一化有副作用,损失聚合很关键,信任域是优化切入点,还提出几个未解决的挑战。
那个用半成品刷爆SOTA的Qwen3超大杯推理版,现在正式上线
阿里千问率先发布Qwen3-Max-Thinking正式版,刷新全球SOTA。该模型总参数超万亿,有技术创新,提升了推理性能和原生Agent能力。实测代码和工具调用能力强,还透露技术细节,中国开源模型影响力不断提升。
清华、北大,上海交大等发布人机协同训练框架,让机器人零样本学会新技能
清华、北大等发布人机协同训练框架MotionTrans,能让机器人零样本学会新技能。它将人类数据翻译成机器人语言,构建数据集,经格式转换、速度调整等处理后训练模型,实验验证其有效性,且数据、代码和模型已开源。
DeepSeek视觉原语论文:当所有人在堆图像分辨率时,它在堆「指代精度」!
4月30日DeepSeek发布多模态论文,核心是“视觉原语”,让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的,但补课方式反共识,不堆分辨率堆指代精度,效率高,拓扑推理成绩领先。