搜索：稀疏注意力架构

「稀疏注意力架构」共找到 2043 篇相关文章

无需租GPU，一台24GB内存的笔记本就够了!

阿里开源稀疏 MoE 模型 Qwen3.6-35B-A3B，总参数 35B，激活 3B。它在智能体编程上超越前代，可与稠密模型媲美，支持多模态，已在 Qwen Studio 上线，还能集成第三方编程助手。

OpenMAIC 是清华开源的 AI 互动课堂平台，能将主题或学习材料快速转化为完整互动学习体验。它把课堂拆成多种交互组件，架构设计出色，支持多 LLM 服务商，还能在聊天应用生成课堂。

AI智能体重塑软件工程，研究团队分析138场演讲发现搭建时精力多花在工程集成和接口对接。文章结合推理模型与人工校验，介绍企业引入智能体的架构策略、演进历程、应用差异及技术底座等内容。

清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。

本文对话 Seede AI 创始人 Longyi，探讨 AI 设计产品发展。Seede AI 主打将原始素材转化为可交付设计稿，易上手、受众广。创始人认为不转向 AI - Native 没救，产品已跑通 PMF，目标是帮人类理解 Agent 产出内容。

文章针对研发支持中的痛点，构建智能Agent系统，将问题抽象为业务答疑与问题诊断两类能力。介绍了系统架构、构建演进、知识体系、质量评估等内容，还展示实战成效，指出当前边界与下一步方向。

北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。

复旦开源的OpenOCR是面向通用OCR任务的开源平台，其OpenDoc是超轻量文档解析系统。它采用Pipeline模式，两阶段解析不易放大误差。UniRec - 0.1B有独特架构与分层监督训练等创新技术。

马斯克xAI核心架构师、联创之一杨格宣布离职，转任非正式顾问。他长期与莱姆病斗争，打算康复后复出。杨格是数学天才，师从丘成桐，是Tensor Programs理论之父，其技术为xAI节省大量算力成本。

开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。