「预训练时代」共找到 3286 篇相关文章
清华团队开源发布首个结构化数据通用大模型
2025年8月29日，清华崔鹏教授团队联合稳准智能开源“极数”（Limi X）结构化数据通用大模型。它融合结构因果推断与预训练技术，适配多任务，性能超最优专用模型，已落地多个工业场景。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
赌自己会失业！田渊栋八人天团狂揽44亿元，杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立，获GV、英伟达等投资6.5亿美元。他们要让AI自我训练，实现递归自我进化，若成功或使AI研究员岗位消失。此前已有相关成果，产品端Anthropic也在推进AI主动性。
Token 新译名：「智元」
文章讨论Token新译名「智元」，认为其比「词元」更合适。介绍英伟达GTC 2026上黄仁勋强调AI推理时代智元重要性，OpenClaw消耗大量智元引争议，还提及黄仁勋闭门会观点及多位大佬对「智元」译名的认可。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
来了，DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
文章介绍用小目标注意力模块改进YOLO12，用于无人机视角下岸边人员玩水检测。先介绍YOLO12特点与结构，再说明小目标注意力模块CBAM优势、流程及代码，接着阐述改进方法、数据集情况，最后给出训练和测试模型的代码与结果。
半年不写代码，Claude Code之父：3年后写代码的人暴涨100倍
Claude Code之父Boris Cherny称，虽软件工程师职称或消失，但3年后写代码、用智能体的人会是现在100倍。他列出Claude Code团队的5种角色，指出岗位边界在融化，AI时代清理者角色更关键。
断崖第一！深度机智Z-WM再夺WorldArena冠军
2026年5月深度机智成立一周年，其Z - WM在WorldArena Track 2夺冠，领先30.5分。该公司围绕人类第一视角数据构建完整技术体系，其成果表明生成数据可用于具身智能模型训练，具身智能竞争重心正迁移。
中国AI芯片迎「华为时刻」
国内AI芯片市场正经历变革，“去英伟达化”成热词。科技巨头推动自研，9月国产芯片捷报频传，性能追赶超越英伟达。这既因地缘政治致供应链风险，也是AI从训练到推理转变下的必然选择。