搜索：模型训练难题

「模型训练难题」共找到 8611 篇相关文章

Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16

Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。

逻辑智能发布全球首个完全开源语音大模型框架LLaSO，它像“全家桶”，提供高质量数据、统一评测基准和强大基础模型。语音大模型发展遇瓶颈，LLaSO框架及参考模型LLaSO - Base有望打破僵局。

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

Anthropic宣布Project Glasswing计划，因训练出超强模型Claude Mythos Preview。该模型代码和推理能力超opus 4.6，扫描主流软件发现数千零日漏洞。此模型不向公众开放，计划先在Claude Opus验证安全机制。

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

在大模型参数竞赛白热化的当下，焦点转向模型如何在行业存活、产生价值。卓世科技合伙人赵策在MEET2026大会提出，大模型下一场竞争在模型、终端、数据与业务流闭环，该司据此在多领域落地应用。

在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。

9月国产大模型持续开源，涉及DeepSeek、Qwen、百度等。如DeepSeek-V3.1缓解语言问题、优化Agent能力；阿里Qwen系列开源超10个模型；百度Qianfan-VL增强领域能力等。还展望10月新模型开源。

谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。

华人团队提出比DAPT和RAG更方便、成本更低的方法，即“Memory Decoder”预训练记忆模块。它像“领域知识插件”，即插即用、不改原参，能让Qwen、Llama等模型成领域专家，还降低困惑度。