「预训练语言模型」共找到 8240 篇相关文章
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
AIGCode宿文：我就是要自训练大模型，直接做「L5」| AI产品十人谈
AIGCode宿文坚信Coding是培育大模型的最佳场景，公司自训练66B基础模型，发布锡月大模型，开启AutoCoder内测。宿文认为AI Coding能解决代码供给问题，目标是实现AGI，虽面临诸多质疑，但他坚持直接做L5。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。
大模型年中报告：Anthropic 市场份额超 OpenAI，开源模型企业采用率下降
本文基于年中报告指出，当前模型API支出翻倍，企业重心转向模型推理。Anthropic市场份额超OpenAI，开源模型企业采用率下降。代码生成成热门场景，企业换模型重性能，AI支出从训练转推理。
《TAML》好文推荐 | 来自中国科学院力学研究所张磊博士 评估大语言模型在计算流体力学领域的知识利用、学习与创造
研究聚焦评估推理型（DeepSeek R1和OpenAI o3 - mini - high）与非推理型（DeepSeek V3和ChatGPT 4o）大语言模型在计算流体力学领域知识利用、学习与创造能力。通过三类基准问题评估，结果有差异。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
钉钉上跑出的第一个行业专属大模型落地：准确率超 90% 的妇科专业大模型
近日，壹生检康在钉钉企业专属 AI 平台训练出“豆蔻妇科大模型”，准确率达 90.2%。钉钉构建支持体系助企业构建大模型，后续还将帮伙伴构建模型和智能体，服务中小企业。
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。