「自监督预训练」共找到 3076 篇相关文章
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入
字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。
Meta打碎Transformer 8年铁律！改写AI最底层规则，模型首次冒出潜意识
Meta推出「自由Transformer」新模型，打破自2017年以来GPT模型核心规则，在解码器引入潜在随机变量Z，增加“潜意识”。仅增约3%计算开销，在多测试中超越大规模模型，或开启后自回归时代。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。
腾讯开源Stand-In！轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大，现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架，在身份保留文本生成视频任务中性能先进，兼容性强，有广阔应用潜力。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG已成大模型落地标配技术，但存在搜到对的文档、模型答案却离谱的痛点。德国萨尔大学等组成的团队诊断出问题在阅读理解，提出Disco - RAG框架，在“搜”和“答”间加“读懂”环节，已被ACL 2026主会录用。
钉钉DeepResearch, 0.008元/1k Token击穿地板价
阿里为7.5亿钉钉用户推出Dingtalk - DeepResearch，解决企业办公AI化痛点。系统采用“三横一纵”架构，有多阶段强化学习等三种解法及DingAutoEvaluator纵向飞轮，实现模型自进化、自纠错。
大模型Agent的下一阶段：可自我进化的AI-Agent
在人工智能飞速发展下，研究者探索让AI自我反思改进。本文作者构建自我进化AI智能体系统，设计四层渐进式架构，经《卡坦岛》实验，证明自我进化能力，不同模型表现有差异，代码级进化潜力惊人。
林俊旸从阿里离开后首度发声：推理模型的时代快结束了
前通义千问Qwen负责人林俊旸离职后发长文，指出AI正从「推理思考」转向「智能体思考」，分析推理模型发展，谈混合思考模式失败，还提及智能体思考挑战及相关企业、学术界进展。