「预训练研究」共找到 3701 篇相关文章
Being-VL的视觉BPE路线：把「看」和「说」真正统一起来
北大、UC San Diego 和 BeingBeyond 联合提出 Being-VL 的视觉 BPE 路线，先将图像离散化并「分词」，再与文本统一建模，能缩短跨模态链路、保留视觉结构先验，还介绍了实现步骤、训练方式等。
Ollama 推出免费搜索API + MCP集成：Cline、Codex一键接入网络搜索（ + Qwen 搭建迷你搜索代理 ）
Ollama推出免费Web搜索API，个人使用免费，本地和云端模型均可调用，还出了MCP服务器。它能让开源模型执行长期研究任务，还介绍了用其与Qwen搭建迷你搜索代理及MCP集成的方法。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
腾讯开源WMT2025冠军大模型：拿下30个第一，同类最佳
昨晚腾讯开源WMT2025冠军翻译大模型Hunyuan - MT - 7B，它在31种语言测试中获30个第一，成同类最佳。文中介绍其架构、训练过程，还通过多场景翻译案例展现优势，有望推动高质量翻译普及。
加一个字母就可以绕过AI围栏，新的漏洞：TokenBreak
提示词注入攻击威胁大模型及应用，当前主要防护方法是用BERT模型检测。HiddenLayer团队发现TokenBreak漏洞，通过加字母绕过检测。研究表明BPE和WordPiece分词策略易受攻击，Unigram不易，建议优先选Unigram类模型。
让你抄袭都跟不上节奏
最近 Dia 连更两小版本，推出 Skills Gallery 和 Research 功能，即扩展技能库和深度研究能力。它更新似微信，节奏快创意足，让对手难抄袭。目前免费，仅 M 芯片苹果电脑可用，文末有邀码获取方式。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
The Batch: 855 | 为智能体而生
总部位于北京的 Moonshot AI 发布 1 万亿参数的 Kimi K2 系列大语言模型，包括预训练和微调版本。它输入输出能力强，架构独特，在多基准测试领先，支持工具调用，多家服务商已集成。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。