「运行时感知分片」共找到 869 篇相关文章
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开,介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容,PIECEWISE技术让vLLM在prefill阶段性能提升。
2.4k star 开源项目,Wingman AI + 知识图谱,如何帮你搭建‘私人大脑’?学术/项目必备,让笔记真正活起来!
MindForger是桌面Markdown IDE,可构建私人知识体系。它能本地运行,掌控数据,有思考联想、知识图谱浏览等功能,能解决笔记混乱等痛点,适用于学术、项目管理等场景。
xAI 新模型 Grok 4 Fast 卷疯了!少用 40% token 还能追平 Grok 4,限定范围可直接免费用
近日,马斯克旗下 xAI 推出新 AI 模型 Grok 4 Fast,将非推理与推理能力整合,少用 40% token 追平 Grok 4,运行成本降 98%。它有 200 万 token 窗口,多平台可用,部分范围免费。
开源半自动化交互工具
Automat 目标是半自主玩各种游戏,是构建通用计算机交互环境首步。目前功能限于键盘宏录制和回放,不稳定。它是进行中的项目,路线图有激进新功能。文中介绍下载、运行方法及项目地址。
一个强大的知识图谱生成工具
这是基于Streamlit的应用程序,用LangChain和OpenAI的GPT模型从文本提取图谱数据并生成交互式图谱。有两种输入方式,具备可视化等特性,还给出安装、运行等指南。
96.6%召回率,0美元成本:这款开源AI记忆系统凭什么超越一切付费方案
AI记忆差困扰技术人,MemPalace开源AI记忆系统解决痛点。它可本地运行、0成本,召回率最高达100%,采用独特结构设计和AAAK语言,还能通过MCP提供工具能力,且团队诚实说明偏差。
刚刚,Figure 03惊天登场!四年狂造10万台,人类保姆集体失业
通用机器人曙光来临,Figure 03正式亮相,专为Helix「大脑」打造,手掌心有摄像头,指尖能感知3克力。其进化亮点多,未来四年将量产十万台,适用于家庭和商用场景。
「生化危机」女主用Claude手搓满分AI,一年0.7美元反杀大厂!
《生化危机》女主Milla Jovovich与工程师好友用Claude开源AI记忆系统MemPalace,在LongMemEval获全球首个满分。虽上线后被社区挑刺,团队公开认错,但其成绩和免费本地运行优势仍受关注。
“我让AI在我的电脑上为所欲为!”MoltBook创始人:爆火的技术,其实简单到离谱
MoltBook创始人Peter Steinberger称其是OpenClaw的延伸,外界对它解读“戏剧化”,但从技术角度看没什么震撼之处。真正关键的是敢让模型在电脑上自由运行,他还想让Agent“做梦”,项目会保持开源。
狂揽15.9K star!!Win系统居然还有开源替代版,牛逼啊~
开源君分享开源项目`ReactOS`,它类似Windows,目标是与NT系列无缝兼容,可直接运行Windows软件和驱动。该项目始于1996年,在Github获15.9K star,有轻量、兼容等特点,安装简单。