「混合微调」共找到 503 篇相关文章
EMNLP25 | "大模型在环"技术新突破:Dial-In LLM 推动中文客服意图聚类新范式
本文提出LLM-in-the-loop意图聚类框架,以传统聚类为骨架,微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线,解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。
DeepSeek V3.1 把 R1 融了,一堆新活:<think>开关、动态搜索、新ToolCall ...
DeepSeek在Hugging Face悄悄发布V3.1版本,将对话和推理模型合并为混合推理模型。它有显式推理、内置搜索、简化工具调用等特性,Aider测试成绩佳且成本低,但也存在战术回避、幻觉率升高等问题。
MiniMax-M1:全球首个开源超长上下文大模型,超越DeepSeek-R1,推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型,刷新三项记录。它采用混合专家架构,闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练,成本低。在工业级任务测试表现佳,已开源且方便开发者接入。
SFT在帮倒忙?新研究:直接进行强化学习,模型多模态推理上限更高
学界常用「监督微调(SFT)+ 强化学习(RL)」训练大模型。但新研究发现,SFT 会引发「伪推理路径」,阻碍推理进步。相比之下,直接进行 RL 训练,模型多模态推理上限更高,该团队训练的模型还刷新了纪录。
Loss收敛不代表学会:腾讯混元ACL 2026拆解SFT训练中15.3%的“假学会”样本
大模型微调(SFT)是主流LLM落地方案,但大家默认训练完就是学完了。腾讯混元团队发现SFT存在不完全学习现象(ILP),论文完成了定义ILP、找根因、提诊断框架和验证干预等工作。
不换GPU,性能飙升2.8倍!英伟达用软件暴打摩尔定律
2026年1月8日,英伟达官网披露,基于Blackwell架构的推理软件栈升级,让混合专家模型(MoE)推理效率迎「阶跃式」突破,单GPU吞吐飙升2.8倍,显著降低推理成本。其通过软件针对性升级发挥硬件潜力,还进行多项优化。
顶级邪修再战 Nano Banana Pro ,超多玩法,太猛了这玩意!
谷歌发布 Nano Banana Pro 模型,将图片模型能力推向顶峰,支持中文。它能生成准确视觉内容、多语言文本,可混合多元素,支持多分辨率。经测试,其各方面表现出色,应用场景丰富,版权限制宽松,三方应用和谷歌官方均可使用。
2.4万亿参数原生全模态,文心5.0一手实测来了
文心5.0正式发布,主打原生全模态,支持全模态输入和输出。官方测试显示其多维度表现突出,在LMArena文本排行榜并列全球第二。实测其理解精细、能捕捉细节,技术上采用自回归统一结构和超大规模混合专家架构。
音频全能王炸!小米MiMo-Audio开源,力压Gemini/GPT-4o!
小米团队开源通用音频大模型MiMo-Audio,集多种功能于一身,支持7国语言零样本克隆和中英混合合成。首包延迟低,效果自然稳定。在多个基准测试中表现优于Gemini-2.5-Flash和GPT-4o-Audio。
OpenAI发布新模型硬刚Anthropic!Claude Code刚火,就被GPT-5-Codex拍在沙滩上?
9月15日,OpenAI推出新模型GPT - 5 - Codex,是微调的GPT - 5变体,用于AI辅助编程。它增强了代码审查功能,能动态调整思考时间,在多项基准测试中表现优于GPT - 5,发布后引发网络热议,AI编码工具市场竞争激烈。