「Pangu Pro MoE」共找到 558 篇相关文章
腾讯混元A13B用130亿参数达到千亿级效果,Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数,却能和千亿级大模型竞争,获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’,依托高质量预训练和结构化后训练,多方面表现突出且已全面开源。
杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA
172天后,Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构,1T参数,激活参数32B,在多任务上领先,发布即开源,还分享技术细节,实测有亮点也待优化,展现回归之势。
首创Mid-training范式破解RL奥秘,Llama终于追平Qwen!
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异,提出中期训练策略,将 Llama 改造成适配 RL 的推理基础模型,缩小与 Qwen 性能差距,还发布了 MegaMath-Web-Pro-Max 数据集。
没想到,最Open的开源新模型,来自小红书
向来低调的小红书昨日开源首个自研大模型 dots.llm1,它是中等规模的 MoE 模型,在较小激活量下性能良好。其开源力度堪称行业最大,还介绍了数据处理、训练优化等多方面技术细节。
腾讯混元 TurboS 技术报告首次全公开:560B 参数混合 Mamba 架构,自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型,有自适应长短思维链机制,总参 560B。在多榜单成绩亮眼,多语种和多任务处理能力强,还介绍了核心创新、训练策略等。
Skill 火了,但它可能只是个过渡品
大家认为给 Agent 装技能包是未来,但云玦科技的“零 Skill Agent”能自己造工具并碾压基于 Gemini 3 Pro 的 Agent。文章回顾 Agent 用工具三阶段,指出 Skill 是过渡品,不过现阶段仍实用,未来会进化。
老黄入局吃龙虾!英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super,在多项测试中表现出色。它原生支持100万token上下文,吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型,开放全参数权重等。
OpenAI开启“印钞机”模式?ChatGPT官宣引入广告,新增8美金/月Go版低价订阅服务
OpenAI宣布广告业务要来了,其低成本订阅服务ChatGPT Go将登陆美国及所有ChatGPT可用地区。未来几周将在美国免费版和Go版中测试广告,Pro、Business和Enterprise订阅方案无广告。还明确广告业务五大原则。
GPT-5.2全力出击!碾压44类专业工作,实测编程同价位无对手、深度推理封神,但速度太拉胯了
GPT - 5.2 登场,有 Instant、Thinking、Pro 三个版本,在多方面大幅升级,能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色,但存在速度慢的问题,其价格 API 端有调整,未来还将推 Codex 优化版。
刚刚,GPT-5.2满分屠榜,OpenAI十周年王者归来
OpenAI 十周年推出 GPT - 5.2 系列模型,包括 Instant、Thinking 和 Pro 版本。它在多方面表现出色,刷新多项基准测试 SOTA 水平,如 AIME 2025 获满分,在 GDPval 达人类专家水平。还在编码、视觉理解等能力上有显著提升。