「动作前缀并行预测」共找到 520 篇相关文章
刚刚，Cursor 2.0携自研模型Composer强势登场，不再只做「壳」
Cursor 2.0发布重大更新，带来自研编码模型Composer和新协作界面。Composer速度领先，针对软件工程优化；新界面以智能体为中心，可并行运行多智能体，还解决了代码评审和测试瓶颈。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
我手机里装了20个AI，最后发现只需要一个
AI工具爆炸，人们成了「AI项目经理」。百度DuMate在开发者大会展示强大能力，一句话可让三件不同工作并行执行，有技术架构支撑，已获认证且成本下降，入口之争本质是生态之争。
AI+直播的新玩法! StreamDiffusionV2让创意零延迟
生成模型改变直播行业，但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2，通过智能调度和缓存机制优化，支持多GPU并行，可灵活调画质和延迟，实现实时直播。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
2 天斩获 3.5K 标星！GitHub 惊现神器！一个二进制文件把 DeepSeek V4 搬进终端
GitHub上的DeepSeek TUI项目开源两天获3.5K Star，它把DeepSeek V4模型搬进终端成编码智能体，有原生RLM并行推理等亮点，提供多种安装方式、支持多提供商，适合终端开发者。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
震撼，世界模型第一次超真实地模拟了真实世界：谷歌Genie 3昨晚抢了OpenAI风头
昨晚谷歌DeepMind宣布Genie世界模型到第3代，能通过单个文本提示词创建交互式、可玩环境。它在多方面优于前代及其他模型，具备构建完整世界能力，但也存在动作空间有限等局限，未来应用值得期待。