「并行 - 蒸馏 - 精炼」共找到 363 篇相关文章
2 天斩获 3.5K 标星！GitHub 惊现神器！一个二进制文件把 DeepSeek V4 搬进终端
GitHub上的DeepSeek TUI项目开源两天获3.5K Star，它把DeepSeek V4模型搬进终端成编码智能体，有原生RLM并行推理等亮点，提供多种安装方式、支持多提供商，适合终端开发者。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
Jeff Dean最新访谈：未来开发者人均50个智能体，写需求成核心技能
谷歌首席AI科学家Jeff Dean在访谈中预言，未来开发者人均管理50个智能体，写需求成核心技能。他还揭秘谷歌帕累托前沿策略，介绍蒸馏技术让小模型接近大模型性能，强调多模态及低延迟价值，给出未来模型发展预测。
每秒生成超30帧视频，支持实时交互！自回归视频生成新框架刷新生成效率
微软研究院与北大联合发布Next - Frame Diffusion (NFD)新框架，通过帧内并行采样、帧间自回归等方式，让视频生成在保持高质量的同时，效率大幅提升，还采用多项技术进一步优化。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
π0.7来了！涌现出组合泛化、跨本体迁移能力，VLA又行了？
具身赛道玩家 Physical Intelligence 发布新模型 π 0.7，它展现出组合泛化和跨本体迁移能力，还能通过知识蒸馏学会优化技巧。其强大源于杂数据和细提示，未来有望解决复杂任务。
穷人福音！MIT研究：不用堆显卡，抄顶级模型作业就成
MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。
EMNLP2025 | 解耦视觉与推理，港大探索视觉语言模型"眼智分离"新范式
当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。
GPU为什么能取代CPU，成为计算领域无可争议的核心？
文章介绍GPU取代CPU成计算领域核心的原因。对比二者架构差异，指出人工智能、大数据和HPC等领域需并行处理，GPU正擅长此。软件支持也推动其普及，未来还会在更多领域发挥作用。