「双预训练架构」共找到 3616 篇相关文章
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
刚刚，DeepSeek首曝V3降成本秘诀！软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角，探讨如何相互配合实现低成本大规模训练和推理，分析硬件特性对架构选择的影响，研究两者相互依赖关系，还为未来协同设计提出建议。
开源医疗模型SOTA：蚂蚁健康发布百亿参数医疗大模型
由浙江省卫生健康信息中心、蚂蚁健康等联合开发的AntAngelMed医疗大模型正式开源。它凭借独创训练与架构，在权威评测中表现优异，降低算力门槛，将专业知识、诊疗能力与计算架构融合，为医疗AI落地奠基。
Transformers v5 中的分词系统：更简洁、更清晰、更模块化
文章聚焦 Transformers v5 分词系统，介绍分词概念、流程、主流算法，对比 transformers 和 tokenizers 库。着重讲 v5 改进，如架构与词表分离，解决 v4 黑盒问题，还能从零训练专属分词器。
蚂蚁出手VLA，就是开源超越Pi0.5的基座模型
当前具身智能落地面临泛化能力不足的挑战，蚂蚁灵波开源发布的基座模型 LingBot-VLA 带来突破。它基于大量真实世界数据预训练，在多项真机任务测试中超越 Pi0.5，且在架构、效率等方面有创新。
音画同步视频生成重磅开源！Character AI和耶鲁大学推出Ovi，让音、画在一个大脑里思考
Character AI和耶鲁大学团队推出开源模型OVI，它采用双骨干交叉模态融合架构，让音视频同步生成。其架构对称，用旋转位置嵌入技术对齐时间，训练策略分步进行，生成效果佳，为开源音视频生成提供新路径。
刚刚，Dexbotic开源！VLA性能+46%，机器人叠盘子100%成功，统一具身智能底座
Dexmal原力灵机开源的Dexbotic是具身智能VLA模型一站式科研服务平台，可提供基础设施。其预训练模型在多仿真器中提升传统VLA策略，还推出开源硬件DOS - W1，覆盖训练需求，架构有创新。
中国具身模型狂揽全球第一！机器人的人类数据时代来了
00后带队的灵初智能用近10万小时人类数据拆解具身智能，1000小时数据开源。其发布Psi-R2和Psi-W0双系统架构，让Psi-R2登顶MolmoSpace榜单。灵初认为纯人类数据训练必要，还强调开源对具身智能落地重要。
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
字节Seed团队发布Seed1.5-VL，用仅20B活跃参数在60个主流测试中狂揽38项第一！
字节Seed团队发布Seed1.5-VL，仅200亿活跃参数就在60个主流测试中获38项第一。介绍其架构、预训练、后训练等情况，评估表现出色，虽处理复杂场景有局限，但仍在多模态任务取得显著进展。