「持续预训练」共找到 2562 篇相关文章
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
The Batch: 855 | 为智能体而生
总部位于北京的 Moonshot AI 发布 1 万亿参数的 Kimi K2 系列大语言模型，包括预训练和微调版本。它输入输出能力强，架构独特，在多基准测试领先，支持工具调用，多家服务商已集成。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
会“思考”的目标检测模型来了！IDEA提出Rex-Thinker：基于思维链的指代物体检测模型，准确率+可解释性双突破
现有目标检测方法有决策不透明和拒识能力不足问题。IDEA提出Rex - Thinker，引入“逻辑推理链”，构建可解释推理框架，经两阶段训练，在测评中准确率提升，可解释性强，有良好泛化能力。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
间接提示词注入攻击(IPIA)原理、方法及案例
本文介绍间接提示词注入攻击（IPIA），它于2023年5月被认定，通过恶意三方数据攻击，适应性广。文中阐述攻击过程、方法，还以Mavy GPT日历泄露为例说明，指出虽有防护但攻击仍会持续。
从业务场景到组织体系，“龙虾” 如何走进企业
“龙虾”火了后，从个人工具走向企业业务场景时问题不同。阿里云“虾友会”传递其进入企业的逻辑，包括解决业务场景接入，经历身份权限、岗位能力、持续运营三重门，回归运行时，最终送进企业工作流。
Langchain创始人最新分享：如何跨越“原型惊艳”到“生产可靠”的鸿沟
近日，LangChain创始人Harrison Chase在Interrupt大会演讲，指出AI行业‘原型易，生产难’痛点。分享优秀Agent工程师四大素质、智能体开发三大关键，还介绍战略预判与产品布局，致力于为智能体工程师提供全周期支持。