搜索：预训练数据精炼

「预训练数据精炼」共找到 3922 篇相关文章

硅谷惊变：12万张H100的挽歌

这是虚构故事，Meta用12万张英伟达H100训练“LLaMA 4 Maverick”，却被中国杭州DeepSeek团队用2000张GPU打败。项目失败成丑闻，扎克伯格成立实验室四处收购遇冷，新负责人管理混乱，实验室乌烟瘴气。

文章指出很多创始人虽技术、团队出色，但对产品增长数据避而不谈。他们高薪招增长负责人却全权交托，自身缺乏增长认知，这在当下很危险。还提到 9 月 20 - 21 日将分享增长调研成果。

大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。

Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。

谷歌官宣Gemini全面升级版Workspace体验，全线接入Docs、Sheets、Slides。在SpreadsheetBench测试中成绩出色，谷歌Workspace更个性化实用。新功能覆盖文档、表格、幻灯片及云盘，还明确数据边界，欲定义下一代办公软件。

半结构化表格布局多样、结构复杂，让自动化数据处理困难。上海交大等团队发布 ST - Raptor 框架，提出 HO - Tree 数据结构及树上操作，构建 SSTQA 数据集，提升表格问答准确率，弥补大模型处理短板。

吴恩达称并行 Agent 是扩展 AI 新方向。过去 AI 靠数据和计算量提升能力，如今并行 Agent 能在不增加用户等待时间前提下提升效果，虽任务分解有难点，但研究不断涌现。

本文从不完全学习现象出发，展望SFT领域未来研究方向，如未知根因探索、检测方法改进等，还提及推广到其他训练范式、CPT精细化研究等，给出研究优先级和社区建议。

华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。

加州大学旧金山分校团队提出CellTransformer算法，几小时完成5只小鼠脑图谱绘制，还绘出新脑区。该算法能准确对齐已知脑区，可扩展到多动物数据集，未来有望用于人类大脑及其他器官研究。