「参数高效微调」共找到 1419 篇相关文章
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
蚂蚁百灵新一代Ling-3.0开源，智效比13.2，124B释放1T能力
蚂蚁百灵新一代模型Ling-3.0开源，有flash和tiny两版本。Ling-3.0-flash参数量124B，智效比13.2，输出快成本低；Ling-3.0-tiny参数量7.9B，激活少且适用多场景，二者都极致挖掘模型效率。
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。
可能是目前效果最好的开源生图模型，混元生图3.0来了
腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
本文是 LLM 微调 AutoResearch 落地实战。作者将电商场景 Qwen3 微调流水线沉淀成 Agent 驱动的三阶段框架，还分享踩坑经验。思路方法与平台无关，可类比到外部环境，适合关注 AI Coding 等的同学。
陈大年复出，入局大模型
国产大模型领域黑马StartLux-V1.0-27B-Preview，参数量仅27B，在信通院MCP测试中排综合第二，仅次于1.6万亿参数量的DeepSeek-V4-Pro。其创始人陈大年押注本地模型，公司专注该领域商业化。
欢迎 GPT OSS —— 来自 OpenAI 的全新开放模型家族！
OpenAI推出GPT OSS开放模型家族，含117B参数的gpt‑oss‑120b和21B参数的gpt‑oss‑20b。采用Apache 2.0许可证，资源占用低、推理快，适多场景，已接入Hugging Face服务，还介绍了推理、部署等内容。
阿联酋K2横空出世，数学、代码样样行，速度全球最快，GPT-4看了都得抖三抖
阿联酋穆罕默德·本·扎耶德人工智能大学与G42公司联合推出开源AI推理系统K2 Think，基于Qwen 2.5 - 32B模型。它靠六项技术性能出众，在多领域测试成绩好，还以小参数量媲美大模型，且全面开源。
千问Qwen旗舰预览版Qwen3.6-Max-Preview发布
千问Qwen发布下一代旗舰模型早期预览版Qwen3.6 - Max - Preview，在权威评测中登顶最佳国产模型。此前开源的Qwen3.6 - 35B - A3B用30亿激活参数匹敌数百亿参数稠密模型，新模型在多方面给出技术演进方向。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。