「双预训练架构」共找到 3616 篇相关文章
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
Z-Image标准版开源：更具可塑性的图像生成全能基座
Z-Image标准版开源，它是为开发者准备的强大画板，解决了生成模型同质化问题。其保留完整权重，在微调、风格化上潜力大，采用创新架构，训练定位SFT阶段，有完整CFG支持，还提供完善工具链。
腾讯开源WMT2025冠军大模型：拿下30个第一，同类最佳
昨晚腾讯开源WMT2025冠军翻译大模型Hunyuan - MT - 7B，它在31种语言测试中获30个第一，成同类最佳。文中介绍其架构、训练过程，还通过多场景翻译案例展现优势，有望推动高质量翻译普及。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
长程执行成具身智能必考题，墨奇的答案是Agentic-Native｜甲子光年
具身智能中长程执行成关键问题，墨奇智能发布具身模型架构MoRA，提出Agentic - Native技术路线，让Agentic能力原生存在于策略模型中，还介绍了模型内部设计、所需数据等内容。
突破瓶颈，嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL，解决嵌入式AI持续学习难题。它优化记忆重放，有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少，成果将在2025年DAC大会展示。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
张小珺对话李想：3小时长谈总结（AI、VLA与组织进化）
张小珺半年前与李想3小时长谈，围绕AI展开多话题探讨。李想认为AI应成生产工具，赞赏DeepSeek，还分享VLA架构、理想终局规划，提出管理心法，思考AI与人关系。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。