「模长感知」共找到 953 篇相关文章
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
备受Meta折磨，LeCun依旧猛发论文！新作：JEPAs不只学特征，还能精准感知数据密度
备受Meta审核规定“折磨”，LeCun仍发新论文。其团队发现自监督模型JEPAs学会了数据“密度”，打破学界以往认知。还提出JEPA - SCORE工具，经多组实验验证其效果。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
字节Seed提出M3-Agent：像我们一样"记住"与"思考"的长视频理解新范式
字节Seed提出M3 - Agent，这是首个融合实时视听输入、类人记忆构建与自主推理的多模态智能体。它模仿人类记忆机制，解决长视频理解痛点，已被CVPR 2025收录并开源代码，为通用人工智能奠定基础。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
清华天眸芯团队再登Nature系列期刊封面，类脑互补视觉范式重塑AI感知世界的方式
清华天眸芯团队继2024年《Nature》封面后，最新进展又登《Nature Sensors》封面。此次研究实现系统级算法软件生态飞跃，还开源工具链。成果在多场景有应用潜力，晰见科技推动其产业化。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
阿里通义的视觉RAG革命！VRAG-RL：基于强化学习的视觉感知RAG框架，性能飙升30%
阿里巴巴通义实验室推出VRAG - RL，融合视觉感知、多模态推理与强化学习，已在GitHub开源。它破解传统RAG处理视觉数据难题，通过创新机制提升性能，在多数据集表现出色，还将向更拟人化和低幻觉方向发展。
当万相2.5刚开卷有声视频，7月已经发布音频一体化的百度蒸汽机又开卷长视频了
百度升级MuseSteamer蒸汽机视频生成模型，可生成任意长度视频，生成中能更新prompt交互创作。其技术规划前瞻体系化，成本低，在多行业有应用和商业化空间。
腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题
腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。