搜索：自监督预训练

「自监督预训练」共找到 3062 篇相关文章

小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。

文章指出推荐系统曾未紧密结合大模型能力，如今正靠近其训练范式。作者基于用户行为序列，用强化学习训练大模型理解序列关系，以预测用户下一个可能点击的资讯，并通过实验验证了该方法的可行性，还探讨了不同数据库中BM25算法的差异。

本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。

复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。

据彭博社记者爆料，苹果预计明年春季推代号“世界知识问答”的AI搜索引擎，与ChatGPT等竞争；当下倾向用谷歌模型支持Siri部分功能。此前曾考虑收购Perplexity，现风向转变。

作者将LangChain4j文档交代码助手，让其参照构建智能体，设计多智能体系统编写、测试和调试代码。实验展示了LangChain4j优势，还对比监督者和工作流两种智能体实现模式，揭示速度与自主性权衡关系。

这篇来自Rutgers大学和UNC Charlotte的survey，首次系统梳理Agent技能的进化与评估全貌，覆盖19种技能进化方法和10个评估基准。指出当前评估体系有诸多不足，如无法追踪技能多轮反馈后是否变好等。

Anthropic发布报告，调查132名工程师、进行53场访谈并分析20万条Claude Code使用记录，探究AI对自身工作的改变。发现生产力提升、专业边界模糊，但也引发技能退化、同事互动减少等担忧。