「预训练范式」共找到 2901 篇相关文章
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。
推荐系统进入「双动力」时代！首篇LLM-RL协同推荐综述深度解析
强化学习是推荐系统主流建模范式，但传统 RL 推荐系统有诸多瓶颈。大语言模型崛起带来新机遇，LLM 与 RL 结合开启新范式。研究团队发布首篇相关综述，提出五大协同范式，总结评估体系，分析挑战与方向。
7B模型“情商”比肩GPT-4o，腾讯突破开放域RL难题，得分直翻5倍
腾讯混元AI数字人团队提出RLVER框架，解决开放域RL在真实交互中的‘情商’优化困境。经其训练的Qwen2.5 - 7B模型在情感对话基准得分跃升，比肩顶级商用模型，团队还有诸多启发性发现。
Anthropic让AI先读员工手册再上岗：失控率从54%降到7%
Anthropic最新研究「模型规范中期训练」（MSM）显示，相同训练数据配不同行事原则，模型表现不同。MSM在预训练和对齐微调间加中间阶段，让模型读规范文档理解准则，在特定实验中，将Agent失控率从54%降到7%。
打造图像编辑领域的ImageNet？苹果用Nano Banana开源了一个超大数据集
苹果研究团队提出Pico - Banana - 400K数据集，基于Nano - Banana在OpenImages实拍照片生成编辑对。其系统化设计保证质量与多样性，还构建自我编辑评估流程，为图像编辑模型训练评测奠定基础。
世界模型开始做减法？LeCun团队和清华团队给出两种思路
近期，Yann LeCun团队的LeWorldModel用简洁JEPA实现从像素端到端训练世界模型，降复杂度且验证潜在空间物理刻画能力；清华团队的Fast - WAM探讨推理阶段显式生成未来必要性，给出高效替代路径。
AI一眼认出95万物种，还能分辨雄雌老幼，2亿生物图像炼成“生命视觉”大模型
俄亥俄州立大学团队用2亿生物图像训练BioCLIP 2模型，取得最优物种识别性能。它在无相应监督信号的非物种任务中，准确率远超DINOv2，还涌现出物种间生态对齐、物种内差异分离等生物学理解。