「小红书MCP」共找到 1389 篇相关文章
性能最高提升7倍?探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望,介绍了主流推理框架vLLM、SGLang,分析KV Cache、Paged Attention、Prefix Caching等技术的优化点,还提及LMCache、DeepSeek的缓存技术,最后提到MCP赋能可视化OLAP智能体应用。
142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
AI花17小时写了篇30页学术论文!自主选题,包含实验,还符合APA格式规范
Virtuous Machines AI系统花17小时、114美元,找288个真人做实验,写了篇30页认知心理学领域学术论文,从选题到成稿全自动化。其架构独特,不过也存在理论误解等小缺点。
马斯克机器人出街卖爆米花,还会捉弄顾客
马斯克的特斯拉Optimus机器人出街卖爆米花,还会捉弄顾客、给小朋友递爆米花、拍照比剪刀手。它是全黑款,此前还曝出金色款,且开通中国区微博。此外,小鹏首款机器人‘Iron’亮相慕尼黑车展。
从操作系统到Agent Team,字节Seed 2.0来了!
作者受字节内测邀请,对豆包大模型Seed 2.0进行多方面测试。在APP开发、多模态理解、操作系统构建、Skills调用、真实项目开发等测试中表现出色,虽有小缺点,但整体提升大,值得试用。
一文看懂英伟达的产品体系和命名规则
文章由小枣君撰写,详细梳理英伟达产品体系和命名规则,涵盖算力芯片、超级芯片、超级计算机平台等,介绍各层级产品特性,还提及通信技术、开发框架CUDA,助读者清晰了解英伟达产品。
自回归因果注意力也能并行解码?上交联合UCSD突破LLM推理瓶颈,模型代码全开源
大语言模型推理速度是应用瓶颈,传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案,无需重构架构,将AR模型转为并行解码器,提速显著且质量损失小,核心优势多,技术路线全链路优化,实测表现优。
腾讯Kuikly框架进一步开源,新增支持Web,开启一码五端新体验!
腾讯Kuikly框架进一步开源,新增Web版支持H5和微信小程序。该框架基于Kotlin Multiplatform,已被20+业务深度使用。与主流框架对比,它在产物大小、加载速度等方面优势明显,还将持续优化和拓展。
陈大年复出,入局大模型
国产大模型领域黑马StartLux-V1.0-27B-Preview,参数量仅27B,在信通院MCP测试中排综合第二,仅次于1.6万亿参数量的DeepSeek-V4-Pro。其创始人陈大年押注本地模型,公司专注该领域商业化。
首个国产开源AI原生后端,不再写后端,AI就是全栈工程师。
Aipexbase是首个国产开源AI原生后端即服务平台,能在AI辅助下完成前后端一体化开发。开发者无需编写后端代码,通过前端SDK或MCP一键调用后端能力,适配国内生态,定义了AI原生开发新模式。