「文本表征模型」共找到 7824 篇相关文章
谷歌AGI底座降临！首个原生全模态嵌入模型上线，已实现全模态SOTA
谷歌发布首个原生全模态 Embedding 模型 Gemini Embedding 2，将文本、图、音视频及 PDF 融于统一向量空间，实现跨模态检索，降低架构成本，赋予 AI 连贯「记忆」，是重塑 AI 基建的里程碑。
中学生就能看懂：从零开始理解LLM内部原理【十二】｜位置嵌入 - 给模型装上"GPS"
文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。
从“卷模型”到“算总账”：AI 产业竞争开始拼什么 | 请回答 WAIC 2026
WAIC 2026热度高涨，InfoQ直播间追问‘AI正在重写什么’。与会嘉宾讨论AI产业新阶段变化，如从‘看能力’到‘算总账’，认为模型重要性方式已变，还探讨了AI原生产品定义、AI Infra影响及未来关注方向。
V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间
近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。
ICML 2026 | 大模型内部也会长出「情绪树」，规模越大越懂人心
ICML2026 论文指出，大语言模型内部会自然形成类似人类心理学模型的「情绪树」，模型越大，情绪树越复杂，且在销售等任务上表现更好。同时，模型的情绪结构受身份设定影响，存在与人类相似的情绪识别偏见。
终于！世界模型进入“有声时代”：24FPS画面+48kHz立体声实时生成
过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。
从BERT到T5再到Qwen3：关于Embedding的八点总结
哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。
商汤分拆了一家AI医疗公司，半年融资10亿，剑指“医疗世界模型”
商汤分拆AI医疗公司，半年融资10亿。其以自研“大医®”为核心构建医疗世界模型，形成闭环。推出智慧医院方案，临床、决策、患者端等多方面落地成果丰富，还布局海外市场，未来想让AI从文本到模拟决策。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
大模型是「躲在洞穴里」观察世界？ 强化学习大佬「吹哨」提醒LLM致命缺点
加州大学伯克利分校副教授、强化学习大牛Sergey Levine在博客指出，当前大语言模型（LLM）只是对人类大脑和思维的间接「扫描」，如同被困洞穴看人类智慧「投影」，无法代替真正思维。