「自监督预训练」共找到 3099 篇相关文章
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
Cluely：最具争议的 00 后 AI 创业者，用一款 “作弊神器”2 个月实现 600 万美金 ARR
本文编译自 a16z 与 Cluely 联合创始人兼 CEO Roy Lee 的对话。Roy 分享了 Cluely 的发展路径，它前身是作弊插件，后成 AI 助手平台，靠病毒营销 2 个月实现 600 万美金 ARR，虽有争议但潜力大。
拳打可灵，脚踢 Veo 3，谁是物理世界的「懂王」？
多模态视频生成大模型是复杂系统工程，多为巨头游戏。MiniMax的Hailuo 02发布，ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动，处理物理关系，提升训练推理效率，成本低，后续还将更新。
LeCun亲自官宣！Meta世界模型V-JEPA 2登场！仅用62小时机器人数据，就能实现零样本控制！
Meta发布V-JEPA 2世界模型及三个新基准测试，Meta首席AI科学家Yann LeCun介绍其不同。V-JEPA 2基于视频训练，用62小时机器人数据就能实现零样本控制，还将探索分层式模型和多模态建模。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
一文读懂：国产AI芯片与英伟达的差距有多大？
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距，指出国产芯片虽在部分场景缩小差距，但高端训练和生态成熟度仍落后3 - 5年，突围需多领域突破。
大模型下半场，阶跃凭什么领跑多模态之战
国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE
长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。
68页论文再锤大模型竞技场！Llama4发布前私下测试27个版本，只取最佳成绩
《排行榜幻觉》论文指出Chatbot Arena存在问题，如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等，研究团队给出改进建议，官方也进行了回应。
给 Agent 装个 Skill：3dviz-pro-max，TA也能搭出像样的 3D 场景！
当前AI Agent生成Three.js 3D场景常出现代码正确但渲染效果异常，自身无法发现问题。本文介绍开源项目3dviz-pro-max，这是专为Agent打造的3D可视化Skill，通过流程约束、知识库和自检工具让Agent可自主调试输出合格3D场景。