「嵌套可扩展监督」共找到 599 篇相关文章
答对了却没看图?EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力,但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE,把标注证据区转为目标分布,监督空间注意力,推理无额外标注,实验成绩优异。
DPO与GRPO谁更胜一筹?港中文、北大等联合发布首个系统性对比研究
港中文、北大等团队首次全面对比DPO和GRPO算法在自回归图像生成中的应用,评估其在域内、域外性能,探究奖励模型及扩展策略的影响,为开发高效RL算法提供新思路。
为什么这篇谷歌论文被称为「Attention is all you need」V2
谷歌新论文《嵌套学习:深度学习架构的幻象》引发关注,被称为「Attention is all you need」V2。它指出主流优化器是关联记忆系统,提出嵌套学习范式,构建HOPE架构,为AI设计带来新思考框架。
预测下一个像素还需要几年?谷歌:五年够了
谷歌DeepMind研究者分析下一像素预测在图像识别与生成任务中的扩展特性。实验显示其扩展趋势与文本类似但效率低,最优策略因任务和分辨率而异,预计未来五年逐像素建模可行。
英伟达发布了跨 AI、机器人和自动驾驶的开放模型、数据集和工具
英伟达发布涵盖多领域的开放模型、数据集和开发工具,扩展多个模型家族。代理式AI领域扩展Nemotron;机器人技术引入Cosmos;自动驾驶有Alpamayo;医疗保健有Clara相关模型。均开放许可,可经GitHub等访问。
AST | 西工大马龙、邬晓敬等:几何特征知识驱动的代理优化方法
机器学习为气动外形设计提供新方法,但高效挖掘利用几何与气动数据知识是难题。本文提出气动监督自编码器架构,利用小样本气动数据监督学习几何特征,嵌入优化框架提升样本质量及优化效率,经翼型和机翼验证有效。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。
CAI+DeepSeek渗透测试情况及扩展分析
文章对CAI+DeepSeek进行渗透测试。介绍CAI安装,在kali按Ubuntu指令装,使用界面友好。测试中CAI执行指令彻底灵活,扫描分析到位。还提及CAI多种能力,称其作为开源框架全面细致,值得研究。
Cloudflare 通过左移安全实践扩展基础设施即代码
Cloudflare实施基础设施即代码和自动化策略执行,将安全验证前置,消除手动配置错误,在部署前捕捉安全违规。该方案以Terraform等为核心,还解决了采用难题、配置漂移等问题。