搜索：数据基础设施

「数据基础设施」共找到 2784 篇相关文章

AI 时代，实时入湖正在告别 ETL：从 Kafka 到 Iceberg 的架构减法

在AI驱动的数据应用场景中，企业需同时支撑实时消费、历史沉淀与多引擎复用的数据底座。传统依赖外部ETL作业的流数据入湖方式有诸多问题，本文探讨‘零ETL’趋势，分析Kafka × Table Bucket方案如何降低复杂度。

文章指出企业中大量数据不在线上，影响AI落地，过去补数据入口有问题。企业微信5.0.8版升级从组织级入口切入，新增‘记录面聊’和升级‘智能表格’，接住沟通和数据的context，让AI看见完整公司。

Pinterest 推出新一代数据库摄取框架，突破传统批处理局限。旧系统延迟高、运维复杂，新框架基于 CDC 等构建，处理有变化记录，将数据延迟从超 24 小时降至 15 分钟，还节省成本。

英伟达新研究项目DreamGen用视频生成模型让机器人在神经网络生成的「梦境世界」自主探索学习。它能让机器人掌握新动作、泛化到新环境，合成数据暴涨333倍，还引入DreamGen Bench用于视频生成基准。

上海交通大学和清华大学研究人员开源个性化联邦学习代码库PFLlib，含39种算法、3种场景和24个数据集，支持模拟500设备训练，还有隐私保护评估工具，降低研究门槛。

Adobe联合多高校推出AI模型EditVerse，它将图片和视频编辑整合，解决传统视频编辑复杂、数据稀缺问题。通过通用视觉语言、上下文学习能力和知识迁移，其效果超Runway，还展现涌现能力。

Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。

吴恩达认为编程智能体正加速各类软件工作，按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显，后端开发有提升但幅度小，基础设施和研究方面加速有限。

英伟达CEO黄仁勋发布长文，指出AI是关键基础设施，运行依托硬件、能源与经济规律。AI可解构为五层架构，目前投入仅数千亿美元，未来还有数万亿规模待建，正演变成最大基建运动。

Teable是基于PostgreSQL的无代码数据库平台，被赞为Airtable开源替代潜力股。它有百万级数据秒级响应等亮点，具备独特技术架构，适用于多场景，与同类对比优势明显。