「能力实现率(CRR)」共找到 4931 篇相关文章
MOE RL实战:统一FP8全流程训练
SGLang RL团队等联合完成工作,实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等,指出训练难点,分析KL Loss异常归因,验证其在MoE模型RL应用效果,还探究模型规模对训推不一致性的影响。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域?
文章围绕Transformer架构展开,先介绍其诞生背景,对比CNN、RNN等模型,阐述其在多领域的核心地位。接着剖析工作流程、实现原理,包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型,并提及通义千问3与MCP协议。
ARR达到3亿美金,Liblib完成近3亿美金融资,估值超20亿美金
近期,演语科技B+轮融资近3亿美元,估值超20亿美元。其ARR达3亿美金,多方面领先同行。该公司跑通PMF,旗下产品有自发传播、用户付费、专业机构接入等优势,LibTV靠系统编排能力切入高价值场景,还筑起生态壁垒。
小模型大作为!微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来,“参数越大,能力越强”成行业共识,但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本,在多项测试中超越头部大模型,还提出SSP框架和MGPO算法。
36个月大逆转!他带着谷歌AI杀回来了,下一步世界模型
ChatGPT发布近36个月,哈萨比斯带领谷歌AI反攻,新发布的Gemini 3在多模型榜单登顶,表现优于GPT - 5。谷歌将其作为底层模型开放,增强现有产品,还考虑重启谷歌眼镜项目。谷歌正缩小与OpenAI差距,哈萨比斯预计5 - 10年实现AGI。
SAPO:让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一,但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO,用平滑门控函数替代硬剪切,实验效果良好。
让NCCL性能起飞的symmetric memory是啥黑科技?— part2
本文是NCCL 2.27新特性系列的第二部分,主要分析symmetric primitives的实现机制,介绍其提供的接口,如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口,还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
AI 已能写 80% 代码,但 Agent 也有致命短板!OpenAI Codex 技术总监:问错了,比不会写更麻烦
OpenAI Codex 技术负责人 Michael Bolin 在访谈中回顾职业轨迹,分享从工程师到工具创造者的成长经历。他认为 AI 编程时代 80%-90% 代码可由模型生成,但关键部分需人类把控,提出正确问题能力更重要,编程智能体执行将更多迁移到云端。
纯血国产!4B模型越级打怪,杀入万亿赛道
9月1日,Hugging Face上线星火X2.5-4B和1.7B开源端侧模型,在多指标测试中表现优异,实现“越级打怪”。该模型基于全国产算力平台训练,在断网笔记本上实测效果惊艳,使用了两项技术提升能力,适配性强。
全球首个英伟达含量为0的万亿模型,成了海外开发者的抢手货
美团推出LongCat-2.0,是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强,适配主流编程工具,架构设计原创,还证明了国产算力有支撑大模型迭代的能力,训推成本更低。