「联合自注意力」共找到 2250 篇相关文章
最新视觉大模型 DINOv3论文精读(逐段解析)
DINOv3是突破性自监督视觉基础模型,其创新围绕数据与模型协同扩展、Gram锚定技术、多阶段训练策略。它解决传统自监督学习难题,在多任务上无需微调达最优,为计算机视觉树立新标杆。
一文读懂DeepSeek-V3.2核心技术DSA:API疯狂降价性能不减的背后
DeepSeek发布实验模型DeepSeek V3.2,引入自研稀疏注意力机制DSA,API价格最高降75%。DSA先筛选后计算,含闪电索引器和稀疏多潜在注意力两组件,分四步工作,权衡了精确性与速度。
领先于Transformer!新架构首个1200万上下文模型SubQ,成本仅Opus的5%
Subquadratic公司提出SubQ模型,核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配,让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型,成本低、速度快,有望革新大模型扩展路径。
当机器人学会「看」和「说」之后,如何让它们真正拥有「手感」?
今年四月,戴盟机器人联合多家机构发布含触觉全模态具身数据集 Daimon-Infinity 并开源 10000 小时数据。IEEE 与戴盟联合创始人王煜教授深度对话,探讨触觉感知对机器人技术格局的影响、具身机器人落地场景等问题。
中国人能飞!杭州发布全球首款站姿载人飞行器
杭州酷飞发布站姿个人飞行器Urban、坐姿个人飞行器Dream及自研NA80飞控系统。产品操作简便,已获海外近百台定金订单,还构建了安全防护体系并补齐保险。两款飞行器定位不同,核心是自研飞控。
深度体验DeepSeek Harness,我原谅它涨价了
本文深度体验了DeepSeek Harness,它已发布并开源代码。其一切如模型、工具等皆为可插拔积木,官方内置超百个插件。介绍了安装方法、使用特点,还对比了与Codex差异,认为它是Agent时代的安卓,有望推动自进化。
独家|RoboScience 机器科学完成10亿元融资,资金将用于强化 VLOA 大模型与本体
AI科技评论独家消息,RoboScience机器科学近日完成10亿元A轮融资,将深化VLOA大模型技术,推进自研机器人本体工程化与量产。其VLOA大模型有创新性架构,能实现通用泛化,还将发布自研机器人本体。
LeCun在Meta的最后一篇论文
LeCun于11月11日提交最新论文《LeJEPA:无需启发式的可证明且可扩展的自监督学习》,当天其离职Meta消息曝光。论文提出LeJEPA自监督学习方法,解决表示崩溃问题,还回顾了JEPA架构发展,虽毁誉参半,但LeCun将继续推进世界模型工作。
让世界模型推理效率提升70倍:上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5,针对视频生成构建可交互“世界模型”的核心难题,提出时空信道联合建模(TSCM),实现近似恒定计算成本的全局记忆访问,展示了世界模型工程化落地的可行路径。
中科闻歌完成新一轮战略融资,引领企业级人工智能技术发展
近日,中科闻歌完成新一轮战略融资,投资方为石景山区产业基金。融资用于自研决策智能操作系统DIOS研发与推广。中科闻歌技术实力强,有全栈自研体系,已服务超千家客户,后续将深耕多领域并拓展海外市场。