「32B模型」共找到 7833 篇相关文章
快慢思考不用二选一!华为开源7B模型实现自由切,精度不变思维链减近50%
华为发布openPangu-Embedded-7B-v1.1,参数7B却有双重“思维引擎”。采用渐进式微调策略和快慢思考自适应模式,可自由切换快慢思考,在多评测中精度提升,思维链减近50%。还推出openPangu-Embedded-1B小模型。
Qwen3 变身扩散语言模型?不从零训练也能跑,30B参数创纪录
扩散语言模型(DLM)潜力大但训练难,Radical Numerics团队改造Qwen3-30BA3B,推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素,成果超现有部分模型,还提出简单方法及训练策略。
AI Code要变天了,Meta首个代码世界模型登场!
Meta FAIR推出32B参数的代码世界模型(CWM),旨在探索世界模型如何改变代码生成和推理,code和mode已开源。在SWE - bench验证中表现优,能与更大规模或闭权重的LLM竞争,还介绍了训练、数据集等情况。
小钢炮开源,一张3090两小时「从零训练0.1B全模态模型」,模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型,采用双轨架构。仅需一张RTX 3090,2小时就能从零训练全链路。有两套训练数据,具备零样本声音克隆等特点,实现大模型训练平民化。
攻克大模型训推差异难题,蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日,蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0,独创棒冰算法解决训推差异难题,实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能,降低推理成本。
源神阿里!图像生成Ovis-Image再开源,7B小参数媲美GPT-4o和20B开源模型
阿里Ovis团队发布Ovis - Image,7B参数文本到图像模型,在文本渲染任务媲美GPT - 4o和20B + 开源模型。它架构优化、数据工程精细、训练范式独特,实测数据表现佳,显存占用低、推理快。
114B参数、6B激活,Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了
Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview,总参数114B,单次前向激活约6B,成本低效果好。该模型解决了视频生成Scaling难题,架构、系统设计出色,开源将改变行业规则。
GLM-4.7-Flash无审查版发布:30B MoE模型,仅3B激活参数
GLM-4.7-Flash无审查版由HauhauCS发布,基于原版移除审查机制。采用30B - A3B混合专家架构,总参数量31B,每次前向传播仅激活约3B参数,推理快,支持200K上下文长度,有两种变体和四种量化版本。
Nanbeige4.2-3B:探索通用Agent小模型
在模型越做越大的当下,推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B,在架构、数据构造和训练pipeline层面做了系统工作,评测表现良好,还探索本地个人助手等应用。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。