「动态token选择」共找到 1314 篇相关文章
估值上万亿、现金流见底:AI盛宴背后的真相没人敢说
投资人Deedy Das总结了估值最高的15家AI初创企业情况,OpenAI等霸榜。部分零收入企业估值惊人,AI行业或现泡沫,还存在烧钱循环,微软选择与新兴云服务商合作转嫁风险。
清华、快手提出AttnRL:让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL,引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题,实验显示在多基准测试中表现优异。
大模型顿悟原理!Meta新论文说清楚了
Meta超级智能实验室(FAIR)最新论文把大模型顿悟(grokking)现象的数学机制说清楚了。提出Li2数学框架,将两层神经网络的grokking动态分三阶段,还推导了泛化缩放定律等。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
多模态大模型持续学习系列研究,综述+Benchmark+方法+Codebase一网打尽!
近年来,生成式AI和多模态大模型进展显著,但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究,提出综述、方法、Benchmark和Codebase,为相关人员提供全面支持。
美团开源Agentic新王,速度拉满,工具调用打爆Kimi?
周末美团开源LongCat - Flash大模型,参数量560B,推理速度达100 token/s,成本低,在Agent工具调用表现超Kimi - K2。它有Zero - Computation Experts和ScMoE创新,不过市场表现未获太多认可。
突发!字节开源 36B 模型Seed-OSS
字节跳动Seed团队开源Seed-OSS系列36B模型,用12T tokens训练,采用Apache-2.0许可证。该模型能灵活控制推理预算,有两个基座版本,Instruct版在多方面表现强劲,性能碾压OpenAI开源模型。
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战,如故障多、资源利用低等,还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。
金融智能体真的是大模型落地“最后一公里”?
InfoQ《极客有约》X AICon 直播栏目邀请业内人士探讨金融 AI 大模型实践现状。指出大小模型融合是主要方案,智能体有应用但也有问题。还分享了评估 AI 项目的要点、智能体应用案例及未来布局方向。
Cursor or Claude Code ?— 这道题怎么选
文章深度对比Cursor和Claude Code两款AI编程工具,介绍其核心功能、适用场景。经案例分析,指出Cursor快但草率,Claude Code慢却精准。还给出使用心得,建议开发者依任务灵活选择或结合使用。