「token权重」共找到 806 篇相关文章
老黄斥资60亿美元，打造全球顶尖开源模型！
多家外媒爆料，英伟达计划斥资60亿美元打造全球最强开源权重AI模型。为此，英伟达买下Poolside的技术，挖走其核心团队，追加巨额投资。这让AI大模型竞争格局或变天，英伟达也将与大客户成对手。
智能体编程“小钢炮”：Qwen3.6-35B-A3B开源！
Qwen3.6-35B-A3B开源，是稀疏MoE模型，总参350亿、激活参数30亿，轻量高效，在智能体编程等方面表现卓越，超越前代，可与稠密模型媲美，支持多模态，已在Qwen Studio上线并发布开源权重。
GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5
在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。
世界模型混战，蚂蚁炸出开源牌
蚂蚁集团旗下蚂蚁灵波发布并开源通用世界模型 LingBot-World，全面开源代码和权重，不绑定硬件或平台。它在多维度有突破，虽有细节瑕疵，但单次生成近 10 分钟连贯视频或刷新纪录，还在 VBench 测试领先。
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。
腾讯开源混元Image 2.1：2K高清+完美文字嵌入，图文天花板来了
今天凌晨，腾讯开源最新图像模型混元Image 2.1，支持原生2K分辨率与长提示词，文字嵌入能力强，适用于专业场景。还开源加速版模型权重和提示词改写模型，评估显示其性能达开源最优，接近闭源商业模型。
深夜开源首个万亿模型K2，压力给到OpenAI，Kimi时刻要来了？
昨晚，月之暗面发布并开源 Kimi K2 大模型，同步上线更新 API，价格 16 元/百万 token 输出。它超过多个开源和闭源模型成新 SOTA，展示出领先能力，还介绍训练关键技术，或成模型智能进化关键。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
Fable 5手搓首个CUDA「超级内核」！2.5小时狂飙18.7倍
在GPU算子基准测试KernelBench - Mega中，Fable 5全程纯手搓CUDA，速度狂飙18.7倍，把GPT - 5.5甩开4倍多。它写出史上首个‘超级内核’，2.5小时约55万token完成编写。Anthropic联创称这标志‘RSI循环’开启。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。