「自监督预训练」共找到 3068 篇相关文章
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。
国际PC巨头入局，Violoop押注个人主权AI｜甲子光年
Violoop获亿元级融资，产品计划9月16日众筹。它想让AI设备随使用更懂用户，提出“个人主权AI”，即个人掌握经验与改进能力。研发聚焦让AI理解人，设置主权边界，有三层自进化路径，还探索多终端应用。
影身智能完成多轮融资，用原生3D数据重新定义机器人认知｜甲子光年
影身智能已连续完成多轮融资，累计近亿元。其以‘原生3D动态世界模型’为核心技术，采用与市场不同的‘升维’思路，用自研的‘影身360’系统采集3D数据，还落地柔性智造行业，目标是打造通用人工智能产品。
视频生成一长就漂移竟是前序帧「太干净」惹的祸！研究揭示共享噪声水平才是长视频稳定关键
自回归视频生成模型存在训推不一致导致的误差累积问题，使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR，通过共享噪声水平减少误差传递，还解决了动作僵化问题，实现分钟级无退化生成。
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
Yann LeCun放出憋了20年的大招：Meta开源V-JEPA 2世界模型
Meta发布V-JEPA 2世界模型，参数高达10亿，推理速度比英伟达Cosmos快30倍。它基于Vision Transformer架构，是Yann LeCun倡导多年的JEPA路线成果，仅需62小时机器人数据训练就能执行任务，打脸质疑者。
1000+页PDF解析速度暴涨3倍，MinerU模式不香了
百度PaddleOCR推出HPD - Parsing小模型，文档解析速度大幅提升，是上一代最快模型的1.62倍、自身原解码方式的3.06倍。它采用层级并行解码架构，有两层并行设计，效果出色且兼容性好，还分享了优质训练方法和优化思路。
对话蚂蚁吴伟：训推一体池化调度，如何把GPU用到极限
AICon大会前，与蚂蚁集团吴伟深度对话，探讨GPU资源调度解法。他指出CPU和GPU有结构性差异，只在推理或训练内优化有资源闲置，国产卡缺全链路生态，软件优化有天花板。还分享架构思路、算法及落地效果等。
AI失忆症有了新解法，哈佛团队开发海马体仿生技术，要用AI终结人类“遗忘史”
近日，AI初创公司Engramme被曝正与投资者接洽融资约1亿美元，潜在估值达10亿美元。其联合创始人是哈佛教授加布里埃尔·克雷曼，技术基于其实验室成果，自研大记忆模型LMMs，已开放记忆API内测申请。