搜索：并行推理加速

「并行推理加速」共找到 2693 篇相关文章

马斯克的底裤要被扒光了！超级爆料一个多小时， xAI 工程师被火速解雇

xAI工程师Sulaiman Ghori在播客大赞公司与马斯克，3天后却被解雇，或因曝光诸多敏感信息。他讲述公司无官僚流程、多线并行高效，马斯克决策快且能快速解决问题，公司还测试虚拟员工等。

近年来，RAG任务在提升模型回答质量的同时带来性能代价，Meta等团队合作提出REFRAG框架。它将无关段落压缩，引入强化学习选关键段落，实现高达30.85倍的TTFT加速，且无需改模型结构，实用性强。

研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。

OpenAI后训练负责人、GPT - 5核心推手Max Schwarzer跳槽至Anthropic，此前也有多位技术领袖离开。OpenAI在商业版图扩张与伦理争议并存下，正从参数军备赛转向体验护城河，同时加速商业与政治布局，但面临人才流失等问题。

GPT - 5直播独立运行宝可梦红版，速度比o3快近三倍，6105步抵达冠军之路，而o3需16882步。原因是其幻觉少、空间推理和规划能力强。直播已进行9小时，超2000人关注，OpenAI总裁点赞。

本周五，谷歌向 Google AI Ultra 订阅用户推出 Deep Think 功能，提供全版本 Gemini 2.5 Deep Think 模型给部分数学家。该模型是获 IMO 金牌模型变体，速度更快，有并行思维等技术，在多领域有用且测试成绩优。

UC伯克利大学副教授Sergey Levine提出，为何语言模型从预测下一词中学到很多，视频模型从预测下一帧却学得少。他指出LLM可“抄近路”模仿人类推理，像在“柏拉图洞穴”中，还探讨了AI走出困境的方法。

阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。

图像推理现新难题，在Reddit引发热议，目前无AI能真正解决。国内外支持图像输入的大模型答案不同，原因是对大立方体规格理解不同。结合提示多次尝试，部分大模型能找准方向，人类面对该问题也会困惑。

华为GTS研发部AI数据团队提出EDCO方法，将样本难度估计与动态课程编排引入领域大模型微调。该方法用推理熵动态编排训练课程，让模型面对最有学习价值的样本，已被ICML 2026接收。