「统一表示学习」共找到 2040 篇相关文章
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
10%训练数据超越100%表现，机器人学习领域迎来重要突破
密歇根大学和瑞典皇家理工学院团队提出 ViSA - Flow 框架，能从人类视频提取语义动作流，提升机器人数据稀缺时学习效率。在 CALVIN 测试中，用 10% 训练数据超越 100% 数据方法，有技术优势也存在局限。
DeepMind 颠覆机器人学习范式：让机器像人一样 “自由成长”
谷歌DeepMind受大模型微调中强化学习阶段启发，提出面向机器人学的两阶段后训练方法，含监督微调与自我提升。实验显示该方法让机器人自主习得新技能、广泛泛化，但研究也存在标注成本高等局限。
Waver：面向统一图像与视频生成的高性能基础模型
字节提出的Waver是面向统一图像与视频生成的高性能基础模型，支持T2V、I2V、T2I。它引入新架构、结合筛选流程与质量模型。虽有局限，但表现出色，架构设计独特，功能多样。
清华叉院教授手把手教你用强化学习训练智能体
在大模型智能体时代，智能体强化学习训练通用智能体很关键。ASearcher 是相关项目，AReaL 有交互次数和代码设计优势。本次吴翼教授将带团队成员，以多轮搜索智能体为例，教用最少代码实现训练。
自搜索强化学习SSRL：Agentic RL的Sim2Real时刻
本文由多机构联合完成，引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge，降低幻觉。还探索Sim2Real有效性，验证SSRL训练模型在真实场景泛化性，且所有训练数据等已开源。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
北大、蚂蚁三个维度解构高效隐私保护机器学习：前沿进展+发展方向
北大李萌课题组与蚂蚁集团研究者共同完成综述，从协议、模型和系统三个维度梳理隐私保护机器学习（PPML）领域，指出当前痛点，给出优化策略，还提出跨层级协同优化方向。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？
论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。