搜索：数据系统逻辑架构

「数据系统逻辑架构」共找到 4170 篇相关文章

调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模

微软亚洲研究院提出全新文本数据组织范式DELT，通过引入数据排序策略，充分挖掘训练数据潜力，优化训练数据的组织方式，在不同模型尺寸与规模下都达到了良好性能，且不用增加数据量或扩大模型规模。

本文作者分享编写系统级提示词经历，指出‘规则清单式’设计有规则打架、维护难、价值稀释问题。引入系统架构思维，构建四层设计框架，给出编译原则与模板，还重构‘AI编程助手’提示词，实现从‘规则管理者’到‘系统设计师’转变。

过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。

北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施，纳入三类核心能力，解决底层系统问题，在效率和效果上有提升，受社区认可。

全球正处地缘政治与AI技术变革中，AI跃升为核心生产力。中国企业面临‘挤压式转型’，传统数据系统难满足需求。数据厂商需构建新一代数据基础设施，技术上‘湖仓一体’与‘AI原生’融合，推动Data&AI一体化。

系统变更是生产事故主因，本文提出聚焦变更可观测性的指标框架，介绍可扩展架构采集展示指标。定义业务和技术指标，构建以事件为中心架构获取数据，还阐述以数据驱动改进变更交付过程。

上海人工智能实验室联合复旦大学开源DataChef，它能通过在线强化学习自动生成LLM数据配方。实验显示其能力逼近Gemini - 3 - Pro，超越人类专家设计算法，解决传统数据工程难题，推动大模型数据工程迈向新范式。

这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。

近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。

AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。