「Fi0模型」共找到 8218 篇相关文章
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
手握30亿、被蚂蚁狂挖人，转型被骂惨的王小川，真的翻身了？
在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。
LeCun炮轰Hinton：他认可LLM就是想摆烂退休了！
Yann LeCun在播客专访中火力全开，炮轰Hinton认可LLM是想摆烂退休，直言LLM不是通往智能的路，还吐槽Meta卷入LLM竞赛后无法专注研究。他介绍了新公司AMI和世界模型、JEPA等技术，认为JEPA类世界模型五年内将统治AI圈。
腾讯智能体开源大动作！关键技术都拿出来了，开发平台还全面升级
在2025腾讯全球数字生态大会上，腾讯云智能体开发平台3.0（ADP3.0）面向全球上线，关键智能体技术将持续开源。新版本功能更新多，还有多个落地案例，如帮伊利、华住等落地智能体。腾讯优图实验室也有开源计划。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
77万人围观的吉卜力风「游戏」视频，我们用3个国产AI整出来了（含提示词）
Reddit上吉卜力风格游戏视频爆火，a16z合伙人Justine Moore转发获超77万浏览量。文章介绍用国产AI复刻视频的流程，包括用即梦3.0文生图，对比即梦3.0 Pro、可灵2.1大师版、Hailuo 02视频生成效果，还探讨AI对游戏产业的影响。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
AI 的终极护城河不是模型
硅谷风投投资人Jaya Gupta指出，当AI领域趋同，产品易被复制时，公司组织形态才是难以复制的护城河。如OpenAI、Palantir围绕新型工作创造新型机构，吸引特定人才。公司应匹配叙事与组织形态，选人要注重结构认可。