「预训练数据」共找到 3990 篇相关文章
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
The Batch: 855 | 为智能体而生
总部位于北京的 Moonshot AI 发布 1 万亿参数的 Kimi K2 系列大语言模型，包括预训练和微调版本。它输入输出能力强，架构独特，在多基准测试领先，支持工具调用，多家服务商已集成。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
如何判断 AI 将优先自动化哪些任务？
思考AI优先自动化哪些任务，可从‘描述 - 执行鸿沟’视角出发。‘描述 - 执行鸿沟’大的任务是自动化沃土，反之自动化价值有限且创建训练数据难，它与‘判别器 - 生成器鸿沟’相似又不同。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
间接提示词注入攻击(IPIA)原理、方法及案例
本文介绍间接提示词注入攻击（IPIA），它于2023年5月被认定，通过恶意三方数据攻击，适应性广。文中阐述攻击过程、方法，还以Mavy GPT日历泄露为例说明，指出虽有防护但攻击仍会持续。
证明也有「选择困难症」？腾讯AI Lab与大模型研究部联手打造 MPS-Prover ，多视角破解形式化推理瓶颈！
本文聚焦逐步式自动化定理证明器困境，腾讯AI Lab等提出MPS - Prover。它有数据筛选和多视角树搜索两项创新，提升搜索效率和证明质量，在多基准表现佳，还解决六道IMO难题。
谷歌掀桌：深度研究智能体进入自动驾驶时代
4月末谷歌DeepMind推出两款基于Gemini 3.1 Pro的AI研究智能体，标准版重速度，增强版求详尽。Max版在多测试获SOTA得分，能自主研究课题出报告，还可融合数据、生成图表，已开启公开预览。