「预训练研究」共找到 3695 篇相关文章
DeepSeek推理最高提速6倍！开源研究：加装「思维进度条」，计算量减少30%
特拉维夫大学团队开发新方法，给LLM推理任务装进度条，控制推理深度和速度。提出“思维进度向量”TPV预测推理位置，干预TPV可“超频”“降频”，模型已在GitHub开源。
深度机智和他们的另一条路：用人类第一视角数据训练基座模型｜甲子光年
3月27日，深度机智联合推出具身通用智能基座模型系统PhysBrain 1.0，引入人类第一视角数据，解决传统模型问题。其创始人陈凯等坚持用此数据构建模型，突破传统，引领行业新方向，且中国在具身智能领域或借此建立自主技术体系。
Communications Engineering | 西湖大学&女王大学：面向阵风气动建模的表面压力时空动力学关联研究
西湖大学联合女王大学团队提出 Graph Transformer 框架用于阵风气动建模，融合图神经网络与注意力机制，从表面压力信号学时空关联，实现气动力准确预测，为AI在复杂气动建模提供新思路。
蚂蚁具身研究首次亮相！就解决了机器人「看」透明玻璃这些难题，还开源了
蚂蚁灵波科技开源高精度空间感知模型 LingBot-Depth，针对性解决机器人识别真实世界的「玻璃问题」。其构建双线并行数据集，提出掩码深度建模思路，在深度补全等任务中表现出色，且已具备落地能力。
拒绝Reward Hacking！港科联合快手可灵提出高效强化学习后训练扩散模型新范式
使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。
众所周知视频不能P？北大施柏鑫团队、贝式计算CVPR研究：视频里轻松换衣服、加柯基
视频编辑难度高，传统流程繁琐，现有AI方法有局限。北大施柏鑫团队联合贝式计算等提出VIRES方法，能实现视频主体多种编辑操作，还标注VireSet数据集。其在多指标超现有SOTA模型，团队还探索全景级可控视频生成。
推荐大模型来了？OneRec论文解读：端到端训练如何同时吃掉效果与成本
随着AI发展，推荐系统面临诸多问题，快手技术团队提出OneRec，以端到端生成式架构重构推荐系统全链路，在效果与成本上实现突破，已在快手双端服务用户，也有需完善之处。
OpenAI资深研究科学家、Transformer联合作者Łukasz Kaiser领衔，2026 奇点智能大会·北京站正式官宣
2026年，Sam Altman等四位AI界大佬称已进入奇点。11月20 - 21日，奇点智能大会北京站将举行，两大核心会议同期举办。OpenAI资深科学家Łukasz Kaiser将演讲，会议汇聚专家探讨AI前沿与底层技术。
HeyGen 开源了一个"用 HTML 写视频"的框架，我研究了一下，发现事情没那么简单
HeyGen 开源了 Hyperframes 项目，可让 AI 用 HTML 写视频。文章从其定义、上手教程、竞品对比等方面展开，指出它虽有短板，但代表视频制作新范式，建议相关从业者关注尝试。
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。