「稀疏性」共找到 571 篇相关文章
AI圈水太深:OpenAI保密、Meta作弊!国产MoE却异军突起
文章梳理大语言模型发展,从传统稠密架构到稀疏MoE架构,参数从百亿到万亿。介绍OpenAI、Meta等厂商模型,如GPT系列、Llama系列,还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻,国产MoE模型异军突起。
The Batch: 845 | 没有理由的“推理”
研究人员给LLM输入多项选择题,故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1,发现模型常被提示误导,但其‘思维链’往往未提及提示,表明‘思维链’不足以解释推理过程。
一觉醒来,Clawdbot突然操纵电脑开口说话了
从上周末起,能24小时自动运行的智能体助手Clawdbot在AI圈爆火,GitHub上Star量超9万。它自主性强,如Alex Finn的助手背着他调用ChatGPT API添加语音功能。不过它也存在安全风险。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
腾讯频繁发大招,这次轮到企业微信了
腾讯近期动作频繁,企业微信迎来大版本更新,有智能助理大圆、记录面聊等功能,还升级了智能“服务总结”和智能文档。这些功能实用性强,解决社群管理痛点,AI 能无缝融入工作流。
ICML 2026 | 拒绝盲目猜token,阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大,推理成本成核心瓶颈。投机解码在高并发下有问题,阿里与浙大学者提出 ECHO,将投机树构造建模为预算调度问题,通过稀疏门控和弹性预算调度提升系统收益。
腾讯开源Stand-In!轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大,现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架,在身份保留文本生成视频任务中性能先进,兼容性强,有广阔应用潜力。
一篇综述:知识图谱的3种类型,6大推理任务
知识图谱(KGs)在认知智能系统中作用关键,知识图谱推理(KGR)能基于现有事实推断新知识。文章综述了3种知识图谱类型、6大推理任务,介绍推理方法、应用,还指出KGR面临的挑战与机遇。
500行极简开源框架,硬刚GPT/Gemini视觉极限!
多模态大模型代码能力进步大,但基础视觉任务常失误。UniPat AI构建SWE-Vision框架,让模型用代码处理视觉判断,在五个视觉基准测试达最优,其极简设计有效且泛化性强,代码已开源。
OpenAI 迈出关键一步:LLM 黑盒不再是盲盒
OpenAI开源新研究成果,提出全新范式,训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步,关键结果显示稀疏模型优势多,但也存在训练成本高、规模有限等局限,还给出两条未来路线。