「预训练范式」共找到 2905 篇相关文章
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
清华团队开源发布首个结构化数据通用大模型
2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
CVPR 2025 | SketchVideo让手绘动起来，视频生成进入线稿时代
中国科学院大学等团队提出基于线稿的可控视频生成和编辑方法SketchVideo，发表于CVPR 2025。它基于预训练模型添加线稿控制网络，解决现有视频生成模型可控性等问题，实现高质量视频生成与编辑。
赌自己会失业！田渊栋八人天团狂揽44亿元，杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。
AI数据工程师在应用中如何"返璞归真"
文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限，指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁，并介绍MktAI知识体系建设。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
AI 颠覆的第一个职业是程序员？｜GAIR Live
文章围绕“AI颠覆的第一个职业会是程序员吗”展开讨论。嘉宾认为AI Coding尚处早期，有潜力成新工程范式。它面临“幻觉”、上下文窗口限制等瓶颈，未来开发者角色或转变为“业务翻译者”和“需求架构师”。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
所有人看见了「大晓速度」，但真正值钱的是它背后的这套系统
过去一年大晓机器人在具身智能行业成果显著，首创研发范式和数据采集方案，推出世界模型并实现端侧部署，其行业方案进入真实场景。它从具身第一性原理出发，让信息低成本入模转化为生产力。