搜索：视觉语言预训练

「视觉语言预训练」共找到 3325 篇相关文章

可攻可防，越狱成功率近90%！六大主流模型全中招 | EMNLP'25

研究人员聚焦大型语言模型（LLMs）安全漏洞，提出全新越狱攻击范式SCP与防御策略POSD。SCP基于DTD机制，在6个主流模型上平均攻击成功率达87.23%；POSD能有效抵御攻击，还提升模型泛化能力。

蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。

Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。

阿里通义千问大模型负责人林俊旸官宣在Qwen内组建小型机器人、具身智能团队。此前阿里云领投具身智能企业，Qwen系列模型受具身智能公司青睐，此次动作呼应阿里云布局，正值科技巨头加码机器人领域。

深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。

OpenAI后训练负责人和DeepMind的AI4S大佬离职成立Periodic Labs，专注用AI Agent改造科研，攻克室温超导等难题，已获3亿美元融资。团队目标是培养AI科学家，构建自主实验室，还将应用于产业。

在2025年大语言模型迅猛发展时，信息抽取成了NLP场景里的“硬骨头”。Google在7月30日开源的LangExtract利用多种LLM，实现“按指令抽取+源文对齐 + 一键可视化”的完整闭环，还给出使用步骤和进阶操作。

Shopify 以 AI 助手 Sidekick 为例，分享从简单工具调用系统演变为复杂 AI Agent 平台的经验，包括架构设计、评估方法和训练技术等方面，还给出构建生产级别可用的 AI Agent 系统的四条核心建议。

很多人质疑扩大计算规模训练模型的做法，因Scaling Law面临收益递减。但新研究发现，模型单步准确率的微小提升能使完成任务长度指数级增长，还探讨了长程执行能力的衡量及影响因素。

奥特曼点名表扬OpenAI两位波兰科学家Jakub Pachocki和Szymon Sidor，他们贡献从Dota项目扩展强化学习到领导GPT - 4预训练。2023内乱中他们追随奥特曼，后帕哥成首席科学家，西哥为独立贡献者。