搜索：联合嵌入预测架构

「联合嵌入预测架构」共找到 1618 篇相关文章

重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%

GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。

近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战，实验显示其性能优、训练快，还能用于提升阿里安全审核模型适应力。

最近，一些简单提示词在AI学术圈掀起风波，操作者将其隐秘嵌入论文诱导AI给高分。谢赛宁合著论文也涉此事，他紧急回应，承认过失，解释缘由并采取补救措施，还呼吁探讨AI时代科研伦理。

去年Sora等模型革新视频生成领域，相机可控的视频生成技术是构建世界模型核心。但从单视角生成极端视角视频是难题，PICO - MR团队提出EX - 4D，能从单目视频生成新视角视频，多方面表现出色。

港科大（广州）和字节联合推出开源框架ComfyMind，它是通用视觉生成框架，能统一处理主流视觉生成任务。其性能超现有开源方法，媲美GPT - 4o - Image，还介绍了架构、接口等及性能评估情况。

OpenAI推出的o3推理模型打破传统文字思维链边界，实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes，尝试实现类似能力，还开源技术细节，在多任务中表现出色。

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。

哈工大（深圳）和宾大联合团队推出基于KANs的3D感知解决方案PointKAN，能处理点云数据下游任务。它替代MLP，有更强学习几何特征能力。还提出PointKAN - elite，降参保量。实验表现出色。

文章指出AI驱动的科研新范式通过数据、算力、算法深度耦合嵌入科研全过程，引发多方面变革。总结其特征与演化方向，分析学科应用要求与成功案例，还提出我国推动AI科研应用的启示与建议。

本文解读了耶鲁、斯坦福等多机构联合提出的INFUSER大模型自进化新方法，针对现有方法仅以难度筛选训练数据的缺陷，提出用影响力分数筛选高价值训练题，实现双模型协同动态进化，实验验证效果显著。