「稀疏注意力模型」共找到 7768 篇相关文章
全国首部AI大模型私有化部署标准，公开征集起草单位和个人！
由中国电子商会归口，智合标准中心组织起草的《人工智能大模型私有化部署技术实施与评价指南》团体标准立项，正征集起草单位和个人。该标准可解决企业部署难题，由多元主体联合起草，参与有重要价值。
刚刚，美团开源 SOTA 推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking
美团宣布开源高效推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking，是国内首个结合多种推理能力的大语言模型。它采用新方法提升性能，已在多平台开源，API 平台免费开放，还兼容主流 API 格式。
反转！LeCun刚转发「全球最快开源推理模型」，ETH苏黎世就直接打假
上周，MBZUAI与G42等开源号称「全球最快的开源AI推理模型」K2 - Think，引发广泛关注，图灵奖得主Yann LeCun也转发相关推文。但三天后，ETH苏黎世研究员发文指出该模型存在数据污染、评估方式不合理等问题。
小模型代替顶级闭源：微软用4B小助理，砍掉30% Token消耗
微软研究团队提出实用方案，用4B参数的微型模型Terminus - 4B替换昂贵顶配大模型接管终端执行任务，采用SFT和RL策略打造子智能体，经测试效果良好，节省Token消耗。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
将DSA注意力引入多模态，快手Keye2.0开启强化推理新范式
快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。
模型遗忘不代表记忆抹除！首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。
腾讯大模型动作慢了吗？姚顺雨带着Hy3 preview杀进第一梯队
国内大模型发展迅速，腾讯此前动作较慢。姚顺雨加入后推动变革，混元团队重建推出Hy3 preview，有295B总参数和快慢思考融合架构，开源且性能优，在多方面表现出色，成本下降。
王兴一鸣惊人！美团首个开源大模型追平DeepSeek-V3.1
美团首个开源大模型Longcat-Flash-Chat发布即引发热议。它在部分benchmark上超DeepSeek-V3.1等，编程能力也出色。技术报告透露美团对大模型的理解，还有新发现，且性能好、训练效率高。
啊？微博7800美元训的大模型，数学能力超了DeepSeek-R1
近日，微博发布自研开源大模型VibeThinker，15亿参数却在数学测试上击败6710亿参数的DeepSeek R1，后训练成本仅7800美元。其为AI产业带来新思考，还将推动微博AI应用发展。