「位置嵌入」共找到 195 篇相关文章
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
音画同步视频生成重磅开源！Character AI和耶鲁大学推出Ovi，让音、画在一个大脑里思考
Character AI和耶鲁大学团队推出开源模型OVI，它采用双骨干交叉模态融合架构，让音视频同步生成。其架构对称，用旋转位置嵌入技术对齐时间，训练策略分步进行，生成效果佳，为开源音视频生成提供新路径。
从Claude隐形水印回望GenAI时代信息隐藏：嵌入水印如何保证无损？
2026年Anthropic新版Claude模型嵌入隐形水印，引发对水印是否伤模型的质疑。可证安全隐写理论为解决此问题提供支撑，中科大等团队取得诸多成果，将“可证无损”从内容延伸到模型，还探讨了水印攻防。
MSSP | 西北工业大学马启悦，高传强等：融合激波位置的跨声速抖振气动载荷辨识
本文提出融合激波位置的跨声速抖振气动载荷辨识方法，从时序流场提取激波特征，用稀疏辨识构建参数化代数方程，增强预测精度与泛化能力，为准确预测跨声速气动载荷提供新思路。
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
腾讯开源混元Image 2.1：2K高清+完美文字嵌入，图文天花板来了
今天凌晨，腾讯开源最新图像模型混元Image 2.1，支持原生2K分辨率与长提示词，文字嵌入能力强，适用于专业场景。还开源加速版模型权重和提示词改写模型，评估显示其性能达开源最优，接近闭源商业模型。
视频世界模型困在像素网格里：腾讯开源SCoPE，用射线空间重写位置关系
香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。
突发！美国在AI芯片嵌入追踪器，以阻止运往中国
路透社消息，美国当局秘密在部分可能被非法转运至中国的先进AI芯片货运中装位置追踪装置，旨在检测运往受出口限制目的地的芯片，该措施仅针对特定货运，中国谴责美出口限制。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
告别“试验田”：当大模型真正嵌入 ERP、供应链与核心决策流 | AICon
文章围绕大模型嵌入企业核心系统展开，邀用友罗小江等担纲。介绍鞍钢赵伟升级 RAG 技术、用友罗小江构建决策架构、京东耿东阳用大模型优化供应链的案例，为企业数智化转型提供参考。