「RL token」共找到 901 篇相关文章
多模态大模型中Attention机制暗藏「骗局」,需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现,主流VLM中attention受位置偏置和padding区域异常高attention影响,直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏,集成到多种剪枝方法,提升了模型性能。
Codex正式开放1M上下文!解除GPT-5.6 Sol封印,三行配置搞定
现在3行配置就能让GPT - 5.6 Sol封印解除,在Codex里用上1M上下文。不过有网友警告轻易别用,因超出默认窗口,模型消耗token速度会翻倍,且模型上下文利用能力会下降。此外,Codex确定会上Astra。
NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限,Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM,用约 1B tokens 微调,端到端吞吐量最高提升 2.5 倍,精度相当。
告别「边画边说」:LatentMorph 开启视觉生成隐式潜空间推理新范式
现有的文生图模型缺乏动态思考与自我修正能力,香港科技大学团队提出LatentMorph框架,将隐式潜空间推理集成到T2I生成过程中,实验显示其显著提升基座模型性能,削减推理延时与Token消耗,实现人机认知对齐。
刚刚,GPT-5.4 发布,百万上下文、最强全能模型
OpenAI发布GPT - 5.4,集推理、编程等能力于一体,支持百万级上下文窗口。有三个版本,功能全面升级,如支持中途打断、电脑操作、视觉能力提升等,还更省token、少幻觉,安全机制完善,价格有调整。
相信大模型成本会下降,才是业内最大的幻觉
很多AI创业者认为模型降价能降成本、改善营收。但文章指出,成本下降仅针对老旧模型,最好模型成本大致相同,且模型token消耗激增。还探讨了AI创业商业模式,如按使用量计费、建立高切换成本、垂直整合等。
智谱开启狂飙模式!7倍提速,全球最快,旗舰模型即问即答
5月22日,智谱上线GLM - 5.1高速版API,输出速度达400 tokens/s,刷新全球大模型API速度纪录,比原版提速约7倍。该速度由GLM团队和TileRT团队联合打造,核心优化分三层推进,且是稳定可用的生产级能力。
小红书提出社交大模型RedOne 2.0:兼听、敏行
在SNS内容爆炸式增长的当下,传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型,采用以RL为核心的三阶段渐进式训练方法,实验显示其性能优异,还能转化商业价值。
阿里云秘密武器亮相顶会:狂砍82%英伟达含量,213块GPU干了1192块的活
阿里云与北大合作,由CTO周靖人带队的研究提出GPU池化系统Aegaeon,亮相顶会SOSP。它用token级自动扩缩容技术,将GPU使用量从1192个减到213个,提升了资源利用率,还在百炼平台测试成功。
北航团队提出新的离线分层扩散框架:基于结构信息原理,实现稳定离线策略学习|NeurIPS 2025
北航彭浩团队提出SIHD框架,基于结构信息原理,自适应构建多尺度扩散层级,实现稳定离线策略学习。通过构建状态拓扑图、用结构信息增益引导扩散、引入结构熵正则化器,在D4RL测试中表现出色。