搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

1M 参数干翻 200M！时序预测选模型，你可能一直都选错了

近期时序预测领域新模型频出，作者开源的 QuitoBench 显示，参数量仅 1M 的 CrossFormer 击败大模型夺冠。它还揭示模型选择与历史数据长度有关，且数据边际收益高于参数。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

帝国理工学院等机构研究人员发表论文，指出大型语言模型（LLM）学习中会自发演化出类似生物大脑的协同核心结构。研究对多个模型剖析，揭示其内部处理规律，为大模型可解释性开辟新路径。

当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。

AI 进入医疗领域需谨慎，此前美国引入不成熟 AI 致手术失误频发。全球首个医疗视频理解大模型元智医疗视频理解大模型发布并开源，解决了医疗视频领域的任务优化、数据缺失和无法评测痛点。

OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。

Anthropic论文登上Nature，揭示AI模型仅通过纯数字序列就能继承另一模型的危险偏好。研究表明，即使删掉敏感词，隐性信号仍能传递，且代码和推理链也是传染通道，这对AI安全评估提出新挑战。

研究人员聚焦大型语言模型（LLMs）安全漏洞，提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制，在6个主流模型上平均攻击成功率达87.23%；POSD能有效抵御攻击，还提升模型泛化能力。

美国具身智能创业公司PI发布最新机器人基础模型π*0.6，新方法大幅提升具身智能成功率与处理效率。其开发的Recap方法从经验数据获训练信号，使模型能执行多项真实世界应用。