「激活参数」共找到 746 篇相关文章
图像、视频一模搞定！字节全能原生多模态本地可部署
字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
2张4090竟能本地微调万亿参数Kimi K2！趋境联合清华北航把算力门槛击穿了
仅需2 - 4张消费级显卡（4090），就能在本地对DeepSeek 671B乃至Kimi K2 1TB这样的超大模型进行微调。这得益于KTransformers和LLaMA - Factory两个国产明星项目联动，大幅降低成本，开启AI个性化定制时代。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
GPT-6 真要来了！OpenAI全新推理架构“循环深度”首次曝光：可榨出14倍参数潜能
OpenAI将推旗舰模型GPT - 6（内部代号Astra），采用“循环深度”新技术，能榨出14倍参数潜能，降低成本，但会使AI推理过程不可读，加重安全担忧。OpenAI已因该模型“能力过强”踩刹车。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。
训练效率提升25%、成本降23%！上海期智研究院、算秩未来联合推出MegatronApp：专为万亿参数大模型训练打造的系统工具包
上海期智研究院联合算秩未来在WAIC 2025大会发布开源项目MegatronApp，它是国内首个围绕Megatron - LM的增强工具链。经实际数据，其在该框架下训练效率提25%、成本降23%，含四大模块解决训练难题。
无需租GPU，一台24GB内存的笔记本就够了!
阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。