搜索：简单持续预训练

「简单持续预训练」共找到 2890 篇相关文章

小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。

文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。

本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。

复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。

全美反对新建数据中心的声音不断扩大，人群通过立法表达不满，部分案例还出现暴力行为。反对理由包括电价、能耗等问题，约640亿美元项目被阻或延迟，新一代数据中心正采用更环保设计。

Google最新发布的Genie 3能从文本生成交互式世界，实现24fps实时交互，分钟级一致性，720p分辨率。它取长补短，有出色记忆能力，物理表现自然，还能让智能体完成任务。不过目前是有限预览，有不足。

大型语言模型智能体常孤立运行，难从经验学习。SKILLRL受人类技能启发，提出有效经验迁移需抽象。它通过经验驱动的技能蒸馏、分层技能库和递归技能进化机制，在多实验中表现出色。

作者参加 Google I/O 大会后，受 James 用 AI 做 SEO 启发，尝试基于 Google 的 Gemini 2.5 Pro 模型制作 SEO 智能体。介绍数据获取方法，构建 3 个 Agent 进行分析、提建议和输出报告，Gemini 负责理解决策，适合出海企业。