「预训练模型」共找到 8112 篇相关文章
无需训练的LLM对齐方法综述
大型语言模型应用引发担忧，传统微调方法有短板，免训练对齐（TF Alignment）应运而生。本文是首篇系统综述TF对齐技术的论文，提出三阶段分类框架，实验显示TF方法优势明显，还指明未来研究方向。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
智能投顾的大模型应用，为什么选择了“大小模型协同”？
大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。
大模型时代，通用视觉模型将何去何从？
过去通用视觉模型（VGM）是研究热点，想实现‘视觉模型大一统’。但大语言模型发展使研究热点转移，视觉‘独立性’被重新定义。清华鲁继文团队综述梳理其进展，探讨现状、挑战与应用潜力。
一个提示攻破所有模型，OpenAI谷歌无一幸免！
HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
Rex-Omni：用 3B 模型颠覆目标检测
长期目标检测依赖传统坐标回归模型，MLLMs方法存在不足。IDEA研究院提出30亿参数的Rex - Omni多模态大模型，在零样本测试中表现超现有回归模型，还具备丰富语言理解能力，有独特设计和训练流程。
王小川：医疗行业对大模型有三大刚性要求，但通用模型一条都不达标
5月22日百川智能展示医疗大模型Baichuan - M4与AI家庭医生「百小医」。王小川指出通用大模型用于医疗有问题，医疗对大模型有低幻觉、强循证、会提问的刚性要求，而通用模型不达标。Baichuan - M4表现出色，百小医也有独特定位和优势，且与三家顶尖医院合作成果显著。