「自注意力层」共找到 1538 篇相关文章
Meta&CMU:Token级LLM协同路由新范式
Meta AI、CMU等联合推出FusionRoute,是让多个大模型在token级协作的新范式。它能在每个token位置精准选专家,自带“急救包”。经实验验证其高效,也指出了待研究的方向。
别人在测 Demo,我已经用MiniMax M2.1跑通了整个产品开发流程
作者黄叔用自研产品「降噪」测试 MiniMax M2.1,从 Skills 优化、页面样式、沉浸式交互、智能搜索四个维度检验实战能力。结果显示 M2.1 优势明显,虽有不足,但已能满足多数日常开发任务。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
阿里云百炼 AgentScope 基于容器服务的最佳实践,加速企业 AI Agent 应用落地
自 ChatGPT 发布,大语言模型成智能系统核心,AI Agent 兴起。阿里云百炼与容器服务联合发布 AgentScope on 容器服务方案,为智能体应用提供运行底座,介绍了 AgentScope 特性、容器服务能力及部署实践等。
摩尔线程背后大赢家:早期投资人回报已超6200倍
摩尔线程今日登陆科创板,市值达2800亿。其自创立受资本关注,融资超百亿。沛县乾曜早期190万投资增值超6200倍。虽曾遇美国制裁危机,但仍业绩增长,彰显了国产GPU企业的突围能力。
NeurIPS 2025 | Code Graph Model:重塑代码大模型架构,利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上,蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」,它将代码库图结构注入 LLM 底层注意力机制,打破业界刻板印象,在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
停工停薪,百亿智驾独角兽停摆了
据红星资本局消息,2025年11月22日毫末智行发停工通知,自24日起员工停工放假,复工时间待定。该司曾是资本宠儿,如今账户冻结、工资停发。其衰落因技术掉队、商业化不顺等,凸显行业淘汰赛残酷。
Agent规模化落地前夜,AI Infra的难题全都暴露了
随着AI Agent大规模落地,中国云服务市场结构转变,AI基础设施角色改变。InfoQ联合腾讯云发起「InfraTalk」直播,探讨AI Infra能力框架等。还解析其核心能力、难题、价值闭环标准及未来竞争焦点。
世纪反转:“安卓爹”谷歌成 iPhone“大脑供应商”?曝苹果每年掏70亿换定制Gemini,明年上线新Siri
彭博社报道苹果将与谷歌合作,每年付约10亿美元获定制Gemini用于升级Siri,计划明年春季推出。谷歌模型参数远超苹果现有模型,能让Siri功能更强大,且运行在苹果私有云。
我MiniMax,用实习生处理数据,照样屠榜开源大模型
MiniMax M2屠榜开源大模型,引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径,公开技术细节。M2团队选Full Attention,雇实习生处理数据,提出交错式思维链策略,强调实用性和泛化能力。