搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

不只是DeepSeek V4，还有个万亿级大模型，训推全程国产芯片

2026年4月24日，DeepSeek发布新一代模型DeepSeek - V4系列预览版并开源。同日，美团用全国产算力集群训练出万亿参数大模型LongCat - 2.0系列预览版，训推全流程摆脱英伟达，在国产算力支撑万亿级模型研发上取得突破。

Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。

逻辑智能发布全球首个完全开源语音大模型框架LLaSO，它像“全家桶”，提供高质量数据、统一评测基准和强大基础模型。语音大模型发展遇瓶颈，LLaSO框架及参考模型LLaSO - Base有望打破僵局。

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

Anthropic宣布Project Glasswing计划，因训练出超强模型Claude Mythos Preview。该模型代码和推理能力超opus 4.6，扫描主流软件发现数千零日漏洞。此模型不向公众开放，计划先在Claude Opus验证安全机制。

OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。

在大模型参数竞赛白热化的当下，焦点转向模型如何在行业存活、产生价值。卓世科技合伙人赵策在MEET2026大会提出，大模型下一场竞争在模型、终端、数据与业务流闭环，该司据此在多领域落地应用。

大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。

Thinking Machines Lab发布首个产品Thinker，让模型微调像改Python代码一样简单。它是用于微调语言模型的灵活API，降低了大模型微调门槛，受到业界关注。此外，该公司还尝试重新发明OpenAI，而OpenAI正打造社交模式。

在AI大模型时代，大家想让模型更个性化。最近GitHub爆火的开源项目`WeClone`，用微信聊天记录训练专属AI打造数字分身，还能语音克隆。它全链路覆盖、支持多模型，有隐私保护等特色，操作也有介绍。