搜索：双预训练架构

「双预训练架构」共找到 3616 篇相关文章

Jina Embeddings v4 的量化感知训练

文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率，对比四种主流量化方法，重点实验PTQ和Output QAT，还测试非对称量化，给出实验结果与结论。

2025年12月19 - 20日，摩尔线程首届MUSA开发者大会将在北京举行。大会聚焦国产算力，主论坛将发布新一代GPU架构，还有20+技术专场和1000㎡科技嘉年华，官网已开放报名。

智能体时代推理计算需求成瓶颈，线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构，结合线性与全注意力，性能和硬件效率出色，引发对线性与全注意力发展方向的思考。

文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。

检索增强生成系统复杂度提升，科研人员面临高昂工程成本。清华大学等联合推出 UltraRAG 2.0，基于 MCP 架构，降低复杂 RAG 系统技术门槛与学习成本，支持低代码构建复杂系统。

多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。

文章分析深度学习中batch size对训练过程的影响，探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题，还通过MNIST实验，从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。

OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。

DeepSeek更新DeepSeek - OCR 2，引入DeepEncoder V2架构，实现视觉编码范式转变。模型和技术报告齐开源，在多项测试中表现出色，降低重复率，为全模态编码提供路径，但在报纸类文档识别有不足。

全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。