混合微调」共找到 503 篇相关文章

推荐文章7

CUTLASS 笔记 (2):混合精度 GEMM kernel

文章介绍实现支持不同精度的 GEMM 算子,解析精度转换技术细节,还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel,包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等,最后完成精度验证。

GiantPandaLLM
算法论文8

斯坦福新论文:微调已死,自主上下文当立

斯坦福大学等机构研究人员新论文指出,依靠上下文工程,无需调整权重,模型也能变聪明。他们提出智能体上下文工程ACE,不依赖模型重训,让上下文自主进化,在多场景测试中表现优于多种方法。

量子位
产品应用7

SQL玩转多模态AI,轻松搞定图片+文本混合搜索

在AI驱动智能商业时代,传统搜索系统难满足需求,AI检索系统又面临数据搬运和工具链割裂难题。本文提出用原生SQL实现多模态智能检索,基于PolarDB融合AI引擎,通过SQL调用服务,无需迁移数据与搭建独立服务。

阿里云开发者
新闻资讯7

Cursor滑跪开源技术报告:Kimi基模这样微调能干翻Claude

Cursor放出Composer 2技术报告力证‘自研’,基于Kimi K2.5经持续预训练和异步强化学习,测试表现好。同时,杨植麟分享Kimi团队最新思考,认为大模型要规模化,断言大模型训练进入第三阶段。

量子位
算法论文8

0.016%参数撬动18%性能:关键表征微调破解LLM推理瓶颈

大语言模型在推理任务依赖思维链技术,传统PEFT方法需修改大量参数,新兴ReFT虽只需调整少量参数,但存在不足。本文提出CRFT,仅用0.016%参数量就提升性能,为轻量化推理增强开辟新路径。

深度学习自然语言处理
产品应用8

不上云、不租卡,如何优雅地在本地微调Qwen-VL-30B?

文章指出企业训练多模态助手,30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择,但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题,还介绍其性能、优势、适用场景及服务等。

机器之心
算法论文7

Thinking Machines曝LoRA终极指南:10倍学习率,媲美全参微调

Thinking Machines推出论文《LoRA Without Regret》,研究LoRA与FullFT达到相近表现的条件。通过实验发现,把握关键细节,LoRA可与FullFT性能相当,还探讨了关键因素、批大小效应等内容。

新智元
开源动态8

Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的

本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。

通义千问Qwen
新闻资讯8

腾讯发布超低成本AI训练法!120元效果秒杀70000元微调方案

腾讯提出无训练组相对策略优化Training-Free GRPO,无需调整参数,在提示词中学习经验就能提升模型性能。实验显示,该方法在数学推理和网页搜索任务上效果显著,成本远低于传统方法。

量子位
产品应用7

别让Nano Banana骗了!混合方案让头像生成成功率从0到100%

作者用Nano banana更新头像时发现其生成中文能力差,提出将AI画图与HTML编程结合的方案。HTML搞定确定性、成本低部分,AI画图负责复杂、创意性高部分,还给出使用方法及多种头像加字设计方案。

AI 产品自由