「向量化内存访问」共找到 505 篇相关文章
牛B, 我真的起飞啦,6.4k Star Bright Data CLI~~~~
约6.4k Star的Bright Data CLI想解决AI Agent访问网页难题,把网页变成易被模型读懂的材料。它将网页访问能力拆成终端可组合动作,还关注工程化细节,让Agent上网有章可循。
谷歌开源Gemma 3n:2G内存就能跑,100亿参数内最强多模态模型
本周五凌晨,谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性,核心是 MatFormer 架构,还采用了 PLE 技术等,在多方面实现质量提升。
内存减6倍、精度0损失,推理提速8倍!谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术,能将KV缓存6倍压缩、无精度损失,推理速度提升8倍,解决内存瓶颈问题,为大语言模型应用扫清障碍,引发业界关注,还致存储芯片巨头股价大跌。
终于来了!ChatGPT更新:新增录音功能,深度研究也可以访问文档和应用程序了
OpenAI对ChatGPT进行更新,在深度研究功能中增加连接器,可连接企业和个人数据源,进行更深入搜索分析;新增录音模式,支持自动整理重点内容等。还调整定价策略,让现有部分用户能访问新功能。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记,解释接口和约束、kernel 关键路径等问题,还介绍 NVFP4 和 MX-Formats 量化原理、代码实现,以及 LightX2V 项目中的实际使用。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突,它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例,对比有冲突、填充、swizzling三种实现,还分析了swizzling和填充优缺点。
Anthropic 为 Claude Code 添加了沙箱和 Web 访问功能,以实现更安全的 AI 驱动编码
Anthropic为Claude Code发布沙箱功能及基于Web的工具版本,解决编码安全风险。沙箱有文件系统和网络隔离两个边界,能减少权限提示、增强保护,还解决了传统安全系统的限制。
748GB内存、20P算力,英伟达把数据中心塞进了桌子底下,第一台已经送到Karpathy家里
英伟达DGX Station GB300首批系统交付开发者,首台给了Andrej Karpathy。它有748GB内存、20P算力,用GB300芯片架构。背后是长时运行自主智能体开发需本地算力,英伟达从软硬层面推进。
英伟达新“桌面超算”800GB大内存,满血DeepSeek R1能装1个半
英伟达在Computex大会宣布新办公室落户中国台湾省台北市,还推出多款新品。如面向个人的DGX Station有800GB内存,能跑大模型;面向企业的RTX PRO Server可加速多种用例。此外,还发布新平台、宣布合作等。
库克清空弹夹!2nm,韬定律,最强AI电脑
库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。