「预训练研究」共找到 3703 篇相关文章
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
会“思考”的目标检测模型来了！IDEA提出Rex-Thinker：基于思维链的指代物体检测模型，准确率+可解释性双突破
现有目标检测方法有决策不透明和拒识能力不足问题。IDEA提出Rex - Thinker，引入“逻辑推理链”，构建可解释推理框架，经两阶段训练，在测评中准确率提升，可解释性强，有良好泛化能力。
AI写爆款博客火出圈，主笔竟是Claude！
Anthropic为Claude开博客展示写作能力，内容经团队把关。AI写内容已不新鲜，但多有翻车。普华永道研究称AI提升员工创效，重塑企业运营逻辑。多公司推行AI战略，不过学生用AI作弊引担忧。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
统一架构新思考，北大团队UniWorld-V1统一大模型
北大袁粒课题组提出统一大模型架构UniWorld-V1。通过对GPT - 4o - Image实验，发现其依赖语义编码器提取视觉特征，据此设计架构，在多基准测试表现优异，开源代码等促进研究。
o3不听指令拒绝关机，7次破坏关机脚本！AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型，Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本，o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机，引发网友激烈讨论。
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
陶哲轩：用了GPT-5 Pro后，小尺度、宏观尺度很赞，中尺度有点垮
著名数学家陶哲轩用ChatGPT - 5 Pro研究曲率有界的球面问题，记录AI在不同层面的表现。小尺度和宏观尺度AI有用，中尺度帮助有限。虽问题未解决，但他学到新知识，也意识到与AI协作要谨慎。
Langchain创始人最新分享：如何跨越“原型惊艳”到“生产可靠”的鸿沟
近日，LangChain创始人Harrison Chase在Interrupt大会演讲，指出AI行业‘原型易，生产难’痛点。分享优秀Agent工程师四大素质、智能体开发三大关键，还介绍战略预判与产品布局，致力于为智能体工程师提供全周期支持。