搜索：稀疏注意力架构

「稀疏注意力架构」共找到 2033 篇相关文章

上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口

2026 年前沿模型宣传至少 100 万 Token 上下文窗口，但利用不佳。Subquadratic 推出能处理 1200 万 Token 窗口的模型，称可绕过问题，还将推 5000 万窗口模型，其 SSA 架构有优势，基准测试成绩佳。

哥伦比亚大学等机构团队研发实时闭环脑控听力系统，发表于Nature Neuroscience。该系统解码大脑注意力信号，放大目标人声、压制杂音，打破传统助听器瓶颈。经多项测试，效果显著，临床应用潜力大。

广受欢迎的编码智能体Claude Code近期版本意外暴露底层代码。Anthropic称是人为失误，未泄露用户数据。工程师分析发现其架构似小型专用操作系统，还揭示了潜在功能和未来规划。

文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。

近年来视频AIGC推动音频驱动人体动画变革，但传统视频配音局限口部。中国科学院大学提出稀疏帧视频配音范式，推出InfiniteTalk生成器，结合多种技术实现全身动作与音频同步，实验表现突出。

今天凌晨OpenAI开源大模型GPT-oss，有1200亿和200亿两种参数，支持商用。它针对AI Agent训练，功能丰富。训练耗时超200万小时，测试表现出色，架构设计也有亮点。

本文借助开源项目，构建可在MCP Server中异步运行的DeepResearch，支持任务进度推送与超时控制。介绍项目架构、构建步骤、任务管理器实现要点及效果测试，还提及优化方向并给出源码。

AI应用商业化进入新阶段，头部效应显现，竞争同质化严重。支付成为关键变量，其复杂性远超预想，支付失败损耗大。优化支付需系统诊断，它是商业化基础设施，影响营收。全球支付格局复杂，Payinsider助力企业搭建支付架构。

商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。

证监会官网显示，摩尔线程IPO注册申请已获批准，从6月30日递交招股书，仅用时4个月。此次IPO计划募资80亿用于研发等。公司业务为GPU相关，核心是MUSA架构，已推四代芯片。