「双预训练架构」共找到 3616 篇相关文章
当 Kafka 架构显露“疲态”：共享存储领域正迎来创新变革
沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 长期关注 Apache Kafka 与流处理系统。文章指出 Kafka 架构现局限，介绍下一代开源项目 AutoMQ 借助云原生设计，解决其成本、扩展性与运维痛点，为实时数据流架构提供新视角。
RL成本降幅超90%！Meta提出Agent训练新范式DreamGym
传统强化学习（RL）训练LLM Agent面临成本高、任务多样性不足等挑战。Meta团队提出DreamGym框架，以经验合成为核心，通过三大组件协同工作，在多种任务和模型上提升性能，为通用Agent训练开辟新路径。
只训练数学，却在物理化学生物战胜o1！新强化学习算法带来显著性能提升，还缓解训练崩溃问题
上海创智学院、上海AI Lab的MM - Eureka系列工作提出新强化学习算法CPGD，缓解训练崩溃问题，提升性能。还构建多模态强化学习框架，推出MMK12数据集和MM - PRM模型，开源相关成果。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
Thinking Machines发布首个产品Tinker ：大模型后训练彻底变天
OpenAI前CTO Mira Murati的Thinking Machines公司发布首个产品Tinker，这是为微调大模型设计的灵活API，能简化LLM后训练过程，让用户专注算法和数据，平台处理分布式训练。它有多种特性，已被顶尖机构采用。
Hugging Face开源nanoVLM，750行代码可训练视觉语言模型，简单到令人发指！
Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。
智谱发布GLM 4.5，不仅开源模型还把训练框架也开源了
智谱AI发布GLM 4.5，不仅开源模型，还开源整套后训练基础设施。模型规格亮眼，性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计，完整工具链支持多种模型。
网易云音乐前 CTO 曹偲：代码越来越不重要，好的架构才是软件工程核心
网易云音乐前CTO曹偲推出AI Coding产品Toco AI，旨在将确定性和工程性带入AI Coding。他认为架构决定软件开发上下限，代码会逐渐黑盒化，业务架构更重要且难被AI取代，产品可助力软件开发。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。