「四段式预训练」共找到 2355 篇相关文章
爬网页要收费了！AI应用成本再度增高！Cloudflare宣布新实验
Cloudflare宣布“按爬取付费”实验，新注册服务网站默认阻止AI爬虫，爬虫需附带支付意图才能访问。此举旨在让内容创作者从AI公司获利，不过也会使AI训练成本上升，还可能引发连锁反应。
苹果出手！改进GRPO，让dLLM也能高效强化学习
苹果研究团队针对扩散语言模型（dLLM）在编码任务中表现不明的问题，基于7B级代码生成MDM DiffuCoder展开研究，定制优化GRPO提出coupled - GRPO算法，填补开源dLLM训练和推理机制空白。
13年死磕一个真理，这家中国AI黑马冲刺IPO
云知声深耕AI 13年，即将冲刺港交所IPO。它从单一语音识别发展为全栈AGI方案商，以智慧生活和智能医疗双轮驱动，营收稳健增长。其坚持技术创新，构建全栈自研体系，有望在AI时代持续领跑。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
2025谷歌研究学者计划名单：吴佳俊、Mamba作者Albert Gu、Tri Dao等获奖
本周四，2025年谷歌研究学者计划获奖名单公布。该计划为鼓励与科研人员合作、推动科技进步而设，申请人需为高校教职人员，获奖者最高可获6万美元奖金。本文列出了部分获奖华人学者信息。
微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好
随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式
本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。
一场对话，我们细扒了下文心大模型背后的技术
信通院大模型推理能力评估中，文心X1 Turbo获最高级“4+级”。百度AI Day上，副总裁吴甜解析文心4.5 Turbo和文心X1 Turbo，从多模态、深度思考等方面介绍技术，还展示其在多场景应用成果。
CVPR 2025 | SketchVideo让手绘动起来，视频生成进入线稿时代
中国科学院大学等团队提出基于线稿的可控视频生成和编辑方法SketchVideo，发表于CVPR 2025。它基于预训练模型添加线稿控制网络，解决现有视频生成模型可控性等问题，实现高质量视频生成与编辑。