「预训练数据精炼」共找到 3915 篇相关文章
95%的人还在手动提取数据，用这个工具秒变结构化
文章介绍Google开源的LangExtract，它基于大语言模型，能将非结构化文本转为结构化数据。有精准溯源、少样本定义等6大优势，可3步完成安装配置，还介绍基础使用、长文档处理、多模型支持及实战案例等内容。
在一台1970年代的PDP-11上训练Transformer需要多久？答案是5.5分钟
近日，开发者复现1970年代技术环境，用PDP - 11汇编语言实现Transformer并训练成功，项目叫ATTN - 11。在低资源下实现功能闭环引热议，大家思考Transformer到底需要什么。
维纳智能登上Nature通讯：AI不只会回答问题，开始生成高精度行业数据
维纳智能登上Nature通讯，其让大模型自动生成高精度推理数据，用闭环反馈驱动专业Agent自主演化。该公司在多领域交出工业级精度答卷，还解决了Agent泛滥的困局，推出多款创新产品。
开发者狂喜：Thinking Machines发布首款产品Tinker，后训练麻烦全给包了
OpenAI前CTO创办的Thinking Machines推出首款产品Tinker，这是用于微调语言模型的API，能简化LLM后训练过程，支持前沿模型，使用LoRA技术降低成本，还发布开源库，多高校团队已试用。
Energy | 西工大史子颉、高传强等：三维风力机叶片动态失速数据融合建模研究
动态失速威胁风力机叶片安全与发电效率，传统模型有局限。西工大团队开发数据融合神经网络与动量叶素理论耦合框架，能高效高精度预示三维叶片动态失速，虽部分工况有偏差，但预测精度显著提升。
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。
大模型“拼好题”，45K数据撬动18%提升，数学问题拒绝死记硬背 | MathFusion
上海AI Lab等团队提出MathFusion，通过三种“融合策略”生成新的融合数据集MathFusionQA，仅用45K合成指令，在多基准测试中平均准确率提升18.0个百分点，增强模型解决数学问题的能力。
阿里妈妈发布MUSE：用多模态搞定十万级超长行为序列，并开源Taobao-MM数据集
阿里妈妈与武汉大学团队发布 MUSE 框架，用于终身用户兴趣建模，能处理 10 万级超长行为序列。还开源 Taobao - MM 数据集。MUSE 可插拔，已在阿里妈妈展示广告精排模型全量上线，提升 CTR 等指标。
微软 & UT Dallas 联手揭秘：从 SFT 到 RL 的进阶之路
微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程，构建 C/C++ 漏洞数据集跑通全流程，总结六大‘避坑’指南，还开源整套框架、数据集和模型。