「预训练时代」共找到 3275 篇相关文章
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。
高性能计算群星闪耀时
本文介绍了高性能计算（HPC）在大模型时代的重要性，以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术，陈文光、翟季冬等助力大模型训练，武永卫团队优化推理，张悠慧探索类脑计算。
对话际数科技联创：质量赛道的先驱者，要做空间数据的「精炼厂」
本文是对际数科技三位联合创始人的访谈。在具身智能时代数据采集火热但数据荒严重背景下，际数关注数据质量，其以测绘背景为底气，用‘一张图、一把尺、一个飞轮’搭建技术护城河，打造质量因子库，还创新训练质量模型，有稳定商业路径。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。
SOP：具身智能在线进化新范式，为大规模真实世界部署而生
智元机器人具身研究中心提出SOP在线后训练系统，将VLA后训练重构为“在线、集群、并行”，可即插即用后训练算法。它有高效探索、缓解偏移等优势，实验显示能提升性能、效率，突破VLA瓶颈。
7B模型“情商”比肩GPT-4o，腾讯突破开放域RL难题，得分直翻5倍
腾讯混元AI数字人团队提出RLVER框架，解决开放域RL在真实交互中的‘情商’优化困境。经其训练的Qwen2.5 - 7B模型在情感对话基准得分跃升，比肩顶级商用模型，团队还有诸多启发性发现。