「视频稀疏注意力」共找到 1234 篇相关文章
家用人形机器人,终于快要来了
作者认为除关注AI大模型进展,更期待家用机器人突破。如今具身智能已具备落地条件,像特斯拉、1X等公司在人形机器人领域有进展,作者乐观预计五年内人形机器人能成熟。
Gemini新手教学
最近Google推出教育优惠,可免费使用15个月含Gemini Advanced等在内的AI产品。作者分享使用Gemini经验,指出其在上下文长度和生态打通方面优于ChatGPT,老牌厂商家底足,OpenAI下半场有压力。
“现代 AI 九成突破都来自我们!”面对核心团队被挖,谷歌 DeepMind 掌门人的回应挺硬
谷歌股价下跌,核心团队被挖,引发对其大模型地位的担忧。但 DeepMind 创始人哈萨比斯回应有底气,谈技术观点,如靠文本模型难以实现 AGI,智能需理解物理世界,还提及水印、创意等问题。
Claude神之bug:给自己下指令,还诬赖用户??Hacker News炸了
强如Claude也现诸多bug,如分不清发言角色,把恶意注入指令当用户请求。技术根源是Transformer架构注意力机制盲区。网友给出避坑方案,还吐槽Claude算力调整、计费乌龙等问题。
AIAA J | 西工大翟凯宇、李楠等:膨胀拐角影响下入射激波/边界层干扰的标度律分析
高超声速进气道肩部区域的激波 - 膨胀波 - 边界层干扰影响大,传统标度律有误差。本研究结合实验与理论,研究膨胀拐角影响下的入射激波/边界层干扰,提出改进标度律,还构建混合监测框架实现准确预测。
Yann LeCun非生成世界模型前瞻:开年三篇论文展示JEPA工程化拐点
2026年Yann LeCun团队3篇论文展示基于JEPA框架的非生成世界模型工程化拐点。Rectified LpJEPA让表示更省力,GRASP将长时域规划并行求解,EB - JEPA把方法写成代码,为非生成式世界模型提供技术路线。
DeepSeek深夜炸场,开源了一个新项目&论文,V4打前站?
凌晨,DeepSeek开源新项目Engram并公开论文。Engram用可扩展的O(1) N - gram记忆替Transformer早期层节省算力,在多方面实验表现出色,如推理任务增幅大于知识任务,还分析了其机理和系统效率。
让AI像人类画家一样边画边想,港中文&美团让模型「走一步看一步」
在文生图和视频生成领域,现有模型处理复杂任务常出错。港中文和美团团队提出TwiG范式,将视觉生成拆解为“生成-思考-再生成”循环,经实验验证有效,有望拓展到更多领域。
华为新架构砍了Transformer大动脉!任意模型推理能力原地飙升
即便Transformer是AI世界基石,但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构,能提升模型推理能力,且参数零增。
总成本降低30倍,告别昂贵后训练,在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立,其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势,解决后训练两难困境,成本降30倍,还为持续学习和个性化打开新大门。