「双预训练架构」共找到 3616 篇相关文章
Multi-Agent 的灵活编排之路
文章从Copilot 3.0架构规划模块出发，结合DeepSeek R1强化学习训练实践，探讨多智能体架构下大模型编排智能体解决问题。分析Copilot 2.0局限并介绍3.0升级，指出难点，展示效果对比及解决方案。
Pulsar特性在AI场景中的使用
随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
规范驱动开发：让架构变得可执行
文章介绍规范驱动开发（SDD），它是软件架构重大转变，以可执行规范为核心，构建五层执行模型，反转传统架构关系，强调漂移检测，明确人机分工，具备五项核心能力，但采用时也面临多种权衡。
天下苦VAE久矣：阿里高德提出像素空间生成模型训练范式, 彻底告别VAE依赖
当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。
完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！
Moxin-7B由多机构团队联合开发，遵循“开源科学”原则，公开全流程细节。它训练成本仅16万美元，评测表现亮眼，在架构、数据策略、训练过程等方面有创新，为中小企业提供可控AI方案。
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
当Ilya断言大模型未来在于架构创新时，中国团队推出全球首个可大规模落地的开源原生多模态架构NEO。它颠覆传统拼接模式，从根上融合视觉与语言，以简洁架构证明架构聪明才是下一代AI竞争力。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
2025 年最全面的 LLM 架构技术解析【长文】
Sebastian Raschka更新「大型LLM架构对比」长文，解析2025年LLM架构发展。介绍了如DeepSeek V3、OLMo 2、Gemma 3等模型架构特点，像DeepSeek V3用MLA和MoE提升效率，还探讨线性注意力复兴等趋势。