「稀疏注意力优化」共找到 1447 篇相关文章
产业级 Agent 如何破局？百度吴健民：通用模型难“通吃”，垂直场景才是出路
InfoQ 采访百度吴健民探讨产业级 Agent 破局点。他指出 Agentic 模型训练卡点在真实环境复刻；通用模型难“通吃”，垂直场景定制模型是关键；多模态未实现统一建模，分开优化效果更好。
Talking-Critic奖励模型带来更自然的音频驱动肖像
近期音频驱动肖像动画技术发展快，但现有方法存在嘴型声音不对、动作不自然等问题。阿里提出Talking - Critic奖励模型，构建Talking - NSQ数据集，还提出TLPO优化框架，提升多维度表现，实验超现有SOTA方法。
AI HR 挑选AI 简历，招聘市场正变成一场AI与AI的对决
LinkedIn求职申请过去一年激增45%，生成式AI是推手。求职者用ChatGPT优化简历、用AI代理申请，招聘方则用AI筛选和面试，还面临虚假身份问题。这引发对工作意义和真诚价值的思考。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
本周 5 个火火火的Github开源项目，每个都很有说法！
本周介绍5个Github开源项目。ai - berkshire将投资大师方法论系统化；stremio - web聚合视频资源；archify能将大白话描述变成架构图；Maple - font是优化的编程字体；Netcatty整合SSH客户端等功能。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
少量视角也能得到完整3D几何，即插即用的语义增强重建插件来了
现有神经隐式路线在样本稀疏时有跨视角对应不稳等问题。上海交通大学等团队提出SERES，将跨视角语义一致性作先验注入模型，以低成本解决歧义问题，在多场景提升重建质量。
达尔文.skill正式发布，一个无限进化的skill系统！
作者受Karpathy的autoresearch启发，开发了达尔文.skill系统，可自动评估和优化skill。它有五条原则、八维度评分体系，能批量解决skill质量问题，与Anthropic官方工具互补，现已开源。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。