搜索：持续预训练 - AI Reading Hub

「持续预训练」共找到 2560 篇相关文章

80万条数据揭示隐患：AI正在「污染」病历，你的诊疗数据可能越来越不靠谱

新加坡国立大学等机构团队研究显示，AI生成临床文本用于训练新模型，会使病理信息在数据迭代中消失，降低医疗AI诊断可靠性。研究分析80多万条合成数据，还提出缓解方法。

字节推出Seed，其Robix视觉—语言单模型能搞定机器人推理、任务规划和自然语言交互，核心采用思维链推理和三阶段训练策略，效果超Qwen2.5 - VL、GPT - 4o等，负责人是李航。

这是虚构故事，Meta用12万张英伟达H100训练“LLaMA 4 Maverick”，却被中国杭州DeepSeek团队用2000张GPU打败。项目失败成丑闻，扎克伯格成立实验室四处收购遇冷，新负责人管理混乱，实验室乌烟瘴气。

大型语言模型虽成就辉煌，但训练成本高、推理延迟大，核心问题源于Transformer架构。这篇综述论文首次系统性梳理高效LLM架构创新方案，分类七大类方法，延伸至跨模态应用，为研究者提供‘效率蓝图’。

Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。

17名美国消费者和小企业主起诉三星、SK海力士和美光，指控其合谋减产、抬高内存价格。二十年前它们就有类似前科。郭明錤预计‘内存荒’至少持续到2027年，这让诉讼意义复杂。

微软最新论文Online Experiential Learning (OEL)提出让LLM在真实部署后持续自我进化的框架，无需人工标注等。介绍了在线体验学习的必要性、OEL方法论及实验验证，揭示关键洞察与启示。

上海交通大学研究团队构建高效标注流程，发布最大人体动作数据集MotionMillion，含超2000小时、200万条文本 - 动作配对数据。还推出评测体系MotionMillion - Eval，训练70亿参数动作生成大模型，刷新SOTA。

华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。

红杉资本访谈 OpenAI 打造新款 ChatGPT Agent 的核心成员。介绍 Agent 结合多工具、共享状态，能执行复杂任务。还谈及起源、训练方法、应用场景，以及安全挑战和未来规划等。