「长链推理」共找到 2765 篇相关文章
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。
Cursor Origin 上线，GitHub 的老玩法还够用吗？
8月17日，GitHub服务异常，同日Cursor向付费计划开放Origin early beta。代码仓库接入更多Agent，现有设施适应人的节奏，而Agent工作节奏更快。Origin重写协作成本，与GitHub设计前提有差异，马斯克布局延伸到软件生产链。
近亿元融资落定！隼瞻科技加速芯片设计"敏捷革命"
近日，隼瞻科技完成近亿元天使+轮融资，多家知名战略投资人加入，老股东继续加持。该公司是国内唯一‘IP货架 + EDA工具’双轮驱动企业，自研平台可大幅缩短设计时长，成立三年已迈向规模化落地。
20刀月费秒变API！Hermes一行命令就能用上Claude、ChatGPT订阅
两大开源Agent框架有硬核更新。Hermes Agent v0.14用一行命令把模型订阅变API，零成本驱动开发工具，还接入Grok。OpenClaw 5.18修复问题，适配Grok。20美元月费可喂饱工具链，打破生态闭环。
PyPI遭投毒！LiteLLM用户Python启动就中招，个人凭证秒泄露
PyPI被投毒，LiteLLM的1.82.7和1.82.8版本被植入信息窃取程序，安装后SSH密钥等数据会泄漏。该漏洞源于Trivy被篡改，攻击者借此发布恶意版本。已给出自检流程，供应链攻击或常态化。
748GB内存、20P算力，英伟达把数据中心塞进了桌子底下，第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者，首台给了Andrej Karpathy。它有748GB内存、20P算力，用GB300芯片架构。背后是长时运行自主智能体开发需本地算力，英伟达从软硬层面推进。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。