「双预训练架构」共找到 3644 篇相关文章
OceanBase全面拥抱AI新进展：OB Cloud支持十亿级多类型向量数据，数十家企业实现AI应用落地
大模型热潮下，企业面临AI落地难题。OceanBase的OB Cloud支持十亿级多类型向量数据，已有数十家企业实现AI应用落地。它具备多云原生、AI能力优势，提供一体化架构和多模向量一体化，还降低了AI应用门槛。
没想到，最Open的开源新模型，来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。
章鱼动力再获5000万美元融资，以世界模型驱动「手脑一体」的物理 AI 基础设施
AI科技评论获悉，物理AI基础设施公司章鱼动力近日完成5000万美元融资，过去3个月累计融资近10亿。本轮由锦秋基金等领投，下轮5亿融资也接近完成。公司以SYNTH架构构建闭环，目标推动物理AI进阶。
LlamaIndex 深度实战：用《长安的荔枝》学会构建智能问答系统
文章兼顾 RAG 科普与 LlamaIndex 实战。介绍 RAG 原理，用《长安的荔枝》讲解关键步骤和参数。实战部分展示用 LlamaIndex 搭建问答系统，代码量少。优化篇通过实验给出参数调优建议，架构篇剖析内部机制，最后提及 Agent 化拓展功能。
杨植麟预告，Kimi K3要来了
月之暗面团队海外AMA透露Kimi K3相关信息。K3或采用KDA架构，有低成本优势；通过开源解决信任问题；将推出不同规格模型；产品打磨注重写作、视觉能力及NSFW内容探索。Kimi性价比模式或改写行业规则。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。
全球百万网友迷上赛博「养鱼」，我也被这群AI小丑鱼拿捏了
Draw A Fish是一款AI小游戏，让全球百万网友上头。玩法简单，在画布画鱼，达到一定相似度就能放虚拟鱼缸。它门槛低、有成就感和互动性，背后是基于PyTorch的卷积神经网络，用ResNet18架构和QuickDraw数据集训练。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
突破多模态奖励瓶颈！中科院清华快手联合提出R1-Reward，用强化学习赋予模型长期推理能力
多模态奖励模型（MRMs）对提升多模态大语言模型表现至关重要，强化学习理论上可引入长期推理能力，但现有RL算法用于训练MRM会不稳定。中科院、清华等团队推出R1 - Reward模型，在多模态奖励模型benchmark上有显著提升。
完全相信 AI 代码的 Uncle Bob，坦诚这条路还没走通
在AI代码普及当下，Uncle Bob放弃人工评审代码，搭建管控框架引争议，Grady Booch反对，认为AI无法替代资深工程师。Uncle Bob设强约束体系，虽有成效但自动化架构规划未达理想，还给出开发建议。