「token级探针」共找到 1528 篇相关文章
DeepSeek的GRPO会导致模型崩溃?看下Qwen3新范式GSPO
文章围绕大语言模型后训练阶段的强化学习算法展开。介绍了OpenAI的RLHF、DeepSeek的GRPO,重点指出Qwen团队发现GRPO有稳定性问题,会致模型崩溃,进而提出新算法GSPO,实验显示其效率和可扩展性更佳。
Genie 3,让幻觉持续成为现实
Google最新发布的Genie 3能从文本生成交互式世界,实现24fps实时交互,分钟级一致性,720p分辨率。它取长补短,有出色记忆能力,物理表现自然,还能让智能体完成任务。不过目前是有限预览,有不足。
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR,有望成Transformer杀手。它统一实现参数共享、自适应计算,兼顾性能与效率。实验显示其推理吞吐量提升,降低计算需求,但能否取代Transformer存疑。
R2没来,却等来综合性能更优的DeepSeek R1T2
抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2,构建于多个父模型之上,在智能与输出token长度间达新平衡点,速度快且测试表现佳,还给出与不同模型对比的选择建议。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
华为 | MoE推理「王炸」组合:昇腾原生盘古推理,性能狂飙6-8倍!
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型,经系统级软硬协同等优化,推理性能提升6 - 8倍。还提出分层混合并行等策略,打造融合算子,设计推理算法,在昇腾不同平台展现卓越性能。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
刚刚,新版DeepSeek-R1正式开源!直逼o3编程强到离谱,一手实测来了
临近端午假期,新版DeepSeek - R1凌晨正式开源,模型权重已上传到HuggingFace。其性能几乎与o4 - mini(Medium)相当,编程实测超越Claude 4 Sonnet。有多项更新亮点,经实测性能获“史诗级”加强。
狂揽20.2k星!还在傻傻的写SQL吗,那你就完了!这款开源项目,让数据分析像聊天一样简单?再见吧SQL
开源项目PandasAI让数据分析像聊天一样简单,由Sinaptik AI团队打造,将ChatGPT级自然语言处理能力注入Pandas。它有对话式分析、智能图表生成等亮点,适用于多场景,还给出使用步骤及与同类工具对比。
YC 开源自家 Harness,3 天斩获 3.9k Star,QM 如何划清 Agent 的权限边界
YC开源的QM项目上线3天获3.9k GitHub Star,定位企业级Agent Harness,解决AI规模化落地管理难题。它补齐企业团队刚需能力,设计贴合企业规则,解决隔离与协作、权限管理问题,顺应行业从拼模型到搭骨架的转变。