「文心大模型4.5」共找到 9034 篇相关文章
MOE RL实战:统一FP8全流程训练
SGLang RL团队等联合完成工作,实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等,指出训练难点,分析KL Loss异常归因,验证其在MoE模型RL应用效果,还探究模型规模对训推不一致性的影响。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代,包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
手握30亿、被蚂蚁狂挖人,转型被骂惨的王小川,真的翻身了?
在大模型竞争中,2023 年成立的百川战略收缩聚焦医疗,起初内外存疑。2025 年,AI 医疗技术与应用进展显著,今年初大厂入局。百川如今开源 Baichuan - M3 模型,王小川认为医疗已入应用阶段、多模态非主战场,且国内 To C 更好。
LeCun炮轰Hinton:他认可LLM就是想摆烂退休了!
Yann LeCun在播客专访中火力全开,炮轰Hinton认可LLM是想摆烂退休,直言LLM不是通往智能的路,还吐槽Meta卷入LLM竞赛后无法专注研究。他介绍了新公司AMI和世界模型、JEPA等技术,认为JEPA类世界模型五年内将统治AI圈。
n8n是开源工作流程自动化工具,提供直观界面创建自定义流程,支持超400应用集成。过去一年增长迅速,活跃用户超20万,ARR增长5倍,GitHub获77.5k star。介绍其创立背景、优势特点,用户评价褒贬不一,还提及与其他工具对比及“公平代码”理念。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题,因错误使用`c10::Float8_e4m3fn`数据类型,未用硬件加速指令,通过软件调用致性能下降,现已修复,vLLM也应用此修复。
R-HORIZON:长程推理时代来临,复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON,它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据,评测发现主流模型长链推理性能断崖式下降,还分析出三大瓶颈,训练后模型性能双重提升。
ChatGPT正式上线广告主平台,AI产品从今天开始走向分裂。
今日凌晨,OpenAI更新ChatGPT,上线非推理模型GPT - 5.5 Instant,还官宣向企业主全量上线广告平台。此前广告已在部分地区测试,付费和未成年用户无广告,免费用户可选择关闭但功能受限。投放端向美企开放,出价高,这或成AI产品宿命。
AI 的终极护城河不是模型
硅谷风投投资人Jaya Gupta指出,当AI领域趋同,产品易被复制时,公司组织形态才是难以复制的护城河。如OpenAI、Palantir围绕新型工作创造新型机构,吸引特定人才。公司应匹配叙事与组织形态,选人要注重结构认可。
模型不是企业的护城河,那什么才是?
文章指出企业AI进入深水区后,真正的竞争是将AI变成企业自己的智能引擎。衔远科技创始人周伯文提出泛化基础上的深度专业化是企业竞争力来源。衔远发布EnterpriseClawBench,揭示企业需私有化评估和可持续进化能力。