搜索：预训练数据精炼

「预训练数据精炼」共找到 3915 篇相关文章

单卡4090也能高质量视频编辑！西湖AGI Lab无训练框架FlowDirector来了

视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架，可将基于流的视频生成模型改造成编辑工具，质量高、功能广、开销低，解决了时序、结构和编辑幅度问题。

毕业季学校查 AI 率，作者为降 AIGC 率，经尝试不同路径后训练出模型。介绍训练数据和过程，包括 SFT、DPO 各阶段，展示改写效果，还开源模型和数据，最后引发对教育检测的思考。

Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。

2025年末国产开源模型影响力凸显，东京电玩展上逗逗AI的游戏理解模型LynkSoul VLM v1超顶尖闭源模型。其CEO刘斌新表示，开源模型结合行业数据是突破关键，还探讨了产品技术、交互及发展趋势等。

字节、北大等联合发布Ouro模型，用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考，通过三大创新构建推理能力，在基准测试中表现优异，实现参数效率提升，是潜在推理范式的胜利。

Figure人形机器人首秀用灵巧手叠衣服，在未改变神经网络架构、仅增加数据的情况下，让原本用于物流场景的它习得新技能，完成了端到端的操作，还实现自然多模态交互。

上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。

清华、墨尔本大学团队研究指出，基于开源模型微调专有模型存在新型隐藏安全风险，开源模型发布者可埋后门窃取下游微调数据，新风险难检测、危害大，目前攻防方法待改进。

IEEE论文聚焦新语言MoonBit和Gleam，探讨大模型代码生成能力。研究发现大模型零样本生成新语言代码能力差，few - shot和RAG有提升但有限，继续预训练及指令迁移可显著提高模型表现。

在机器人和具身智能领域，transformer模型又大又‘重’，边缘设备难以承受。东南大学、中南大学、明略科技联合提出的CompTrack论文，创新性解决AI模型处理稀疏数据的‘双重冗余’，在3D点云跟踪任务上实现精度和速度双优。