「预训练语义编码器」共找到 2312 篇相关文章
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
刘鹏飞组提出Agent领域的少即是多：智能不在于数据堆砌，78个样本训练出超强Agent，128倍效率提升
刘鹏飞组论文《LIMI: Less is More for Agency》提出颠覆性观点，认为Agent智能培育关键在数据质而非量。LIMI用78个样本在AgencyBench得分超基线模型，实现128倍数据效率提升，为Agent开发提供新路径。
AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！
匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。
ImageNet分数越高，生成反而越糊？iREPA给出解释
Adobe Research论文指出，视觉模型在ImageNet分类准确率高，生成效果未必好，全局语义强易压扁空间结构。iREPA修改REPA训练流程，削弱全局干扰，提升了生成质量。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
刚刚，全球AI生图新王诞生！腾讯混元图像3.0登顶了
LMArena竞技场发布文生图榜单，腾讯混元图像3.0夺冠，超越谷歌、字节和OpenAI等模型。它是原生多模态模型，语义理解强，核心技术独特，经多阶段训练，效果能与顶尖模型媲美。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
腾讯纯文本LLM训视觉encoder，拿捏图表长视频，达到开源小模型SOTA！
腾讯开源Penguin - VL，直接用纯文本LLM训视觉编码器，跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强，训练分三阶段，相关代码、模型等已开放。
字节跳动开源文档解析大模型Dolphin，告别繁琐的文档处理，上线狂揽1k星，真是绝了！
字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。