「数据稀缺」共找到 2602 篇相关文章
Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年，Transformer架构在未来至少一到几年仍占统治地位，但会在效率和混合上微调。同时，扩散语言模型虽有工具调用缺陷，但在数据稀缺时或成更好的学习者。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
“多模态方法无法实现AGI”
文章指出一些人认为多模态方法能实现AGI，但作者觉得此策略会失败。真正的AGI要理解物理世界，而LLMs只是记忆规则。此外，规模最大化方法用于AGI有数据稀缺问题，多模态建模也存在诸多问题。
NUS Show Lab 寿政教授：打通自回归与离散扩散，打造下一代具身大模型底座｜ECCV 2026
本文整理自新加坡国立大学Show Lab负责人寿政教授在ECCV 2026的分享，团队研发融合自回归与离散扩散的Show-o/Show-2统一架构，解决多模态理解与生成融合痛点，延伸至具身智能领域，突破数据稀缺、推理延迟等核心瓶颈。
具身智能最“脏”的活，被三个老炮干成了亿元生意｜甲子光年
具身智能行业数据是关键卡点，海量数据中能用于训练具身模型的数据稀缺。智域基石提出“数据编译”理念，搭建包含五个环节的管线。该公司已获数千万元天使轮融资，成立4个月订单近亿元，从工业场景切入，规划了三阶段发展路径。
死掉的创业公司，成了AI最抢手的训练数据
过去一年，硅谷倒闭创业公司用数字履历重新估价，卖给AI实验室训练agent。产业链迅速形成，中游有SimpleClosure和Sunset等，下游有多家做RL gym的创业公司，不过该产业链面临隐私等敏感问题。
大模型已经够聪明了，为什么 95% 的 AI 项目还是跑不出 ROI？
2026年AI落地现悖论，模型能力强但多数项目难有ROI，原因是数据未准备好。腾讯云在AI产业应用大会宣布升级全栈数据平台，推出DataBuddy，可在多场景实现对话即交付，解决数据问题助力AI落地。
香农、信息论、AI、Scaling Law，以及信息的观察者效应
文章围绕经典信息论在AI实践中的矛盾展开，介绍CMU和NYU论文《From Entropy to Epiplexity》提出的新概念，解释合成数据、数据排序等问题，还探讨合成数据飞轮能否持续，指出epiplexity可定义数据质量。
超越人类标注，Meta提出CoT-Self-Instruct：如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。