「预训练数据精炼」共找到 3922 篇相关文章
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
告别多奖励跷跷板：Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。
SQL玩转多模态AI，轻松搞定图片+文本混合搜索
在AI驱动智能商业时代，传统搜索系统难满足需求，AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索，基于PolarDB融合AI引擎，通过SQL调用服务，无需迁移数据与搭建独立服务。
斩获7.4K标星！NotebookLM的终极开源平替，私有化多模态播客一键生成！
Google的Notebook LM虽能上传资料一键生成播客总结，但有数据隐私等问题。近期GitHub上的Open Notebook获7.4K标星，它复制并超越前者功能，强调数据主权，有多项亮点且部署灵活。
AI 时代，实时入湖正在告别 ETL：从 Kafka 到 Iceberg 的架构减法
在AI驱动的数据应用场景中，Kafka、Iceberg开放表格式与对象存储组合成流数据入湖重要方向。传统ETL方式有链路长等问题，文章围绕“零ETL”讨论架构减法，介绍Kafka × Table Bucket方案及优势、适用场景。
机器人整机是“有限游戏”？对话星海图创始人：具身智能商业化的三个阶段，终点是卖Token
星海图CEO高继扬等提出具身智能三重跃迁，发布新模型并开源，首秀自研机器人。公司从整机起步，联合建数据公司，规划数据量。其商业模式分三阶段，认为中国具身基础模型能力有望超美。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
字节Seed团队发布Seed1.5-VL，用仅20B活跃参数在60个主流测试中狂揽38项第一！
字节Seed团队发布Seed1.5-VL，仅200亿活跃参数就在60个主流测试中获38项第一。介绍其架构、预训练、后训练等情况，评估表现出色，虽处理复杂场景有局限，但仍在多模态任务取得显著进展。
AST | 西交大牛笑天、陈刚等：基于多尺度网格融合技术的复杂三维构型流场时空智能推理方法
文章针对复杂三维外形的强非线性非定常流场推理难题，提出MSGF数据预处理方法与DTECAU - 3D模型联合框架。MSGF解决数据提取难题，DTECAU - 3D解决传统U - net问题，经测试验证该框架效果良好。
LeCun世界模型：48倍规划速度，单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型，仅靠两条数学规则，让机器几小时学会物理运转逻辑，动作规划速度超同类48倍。它跳出复杂训练修补怪圈，单卡训练，在多环境测试表现出色，还展现对物理法则的深刻理解。