「运行时」共找到 1201 篇相关文章
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
Cursor改变了写代码的方式，云电脑改变了跑Cursor的方式
AI编程已成核心生产力，但Cursor等工具对硬件要求高，运行卡顿。问题不在电脑配置低，而在于AI工具不应挤在常用电脑里。无影云电脑作为‘第二桌面’，能让AI在云端运行，与第一桌面互不干扰。
1/3预算跑平 GPT-5？上海AI Lab「路由魔法」成本直降63%性能反涨 7%！
当前大模型需解决性能与效率平衡问题，GPT - 5用测试时路由技术初步平衡。Avengers - Pro测试时路由框架集成不同LLMs，通过嵌入、聚类、评分操作，调整权衡参数α，能依查询特征选模型，性能和效率优于单一模型。
让64张卡像一张卡！浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
浪潮信息发布新一代AI超节点“元脑SD200”，可让64张卡像一张卡。它支持四大国产开源模型同时运行，实现算力聚合突破，通过软硬协同优化提升推理性能，采用开放架构推动“智能平权”。
实测豆包 Seed-2.1-pro-0915：一个微信小程序原型，看它如何把需求写成可运行代码
本文为豆包Doubao-Seed-2.1-pro-0915新版本实测内容，展示该模型的多模态编程能力，以生成鱼类识别微信小程序为例，给出基准测试成绩，介绍其适用开发场景。
刚刚开源不到1MB大小，每个AI程序员都该装！
当跑多个 AI Agent 时，很难第一时间了解每个 AI 状态。刚开源的 `abtop` 项目运行在终端，能实时展示 Claude 和 Codex 会话状态，不依赖 API Key，功能实用且安装方便。
记录下SGLang 开发，编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法，还介绍让SGLang无视版本运行以定位bug的方法。
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时，提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息，有完整开源。它历经多版本演进，还能用于安全防御，使用简单，值得开发者跟踪。
52KB 的奇迹！NovaSR 开源：16kHz 秒变 48kHz，快出天际的音频超分模型！
在AI“巨物崇拜”盛行时，NovaSR开源带来“微型震撼”。它仅52KB，能将16kHz音频提至48kHz，单张A100达3600倍实时。可端侧运行，效率提升显著，有诸多应用场景。
Talos Linux：为 Kubernetes 操作带来不可变性和安全性
Sidero Labs开发了专为运行Kubernetes的不可变操作系统Talos Linux及集群生命周期管理平台Omni。InfoQ采访Sidero团队，探讨其以极简和安全优先理念简化Kubernetes操作，还谈及产品战略、应用场景等。