「内存涨价」共找到 251 篇相关文章
小白必读：到底什么是FP32、FP16、INT8？
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提，不同格式在精度、范围、内存占用和计算速度上有差异，还提及多精度与混合精度计算，以及不同硬件对格式的支持情况。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
突发，Fable 5.1泄露了！Claude又叒叕全球大宕机
今日，Fable 5.1被曝开启灰度测试，部分Claude用户已免费试用。推测其可能很快全量推送且不涨价。此前Fable 5因性能强受限，开发者期待5.1版。同日Claude全球大宕机，Anthropic正冲刺万亿估值。
实测 Seed 2.1：豆包基模超进化，国产模型能力跨过质变点
作者在做面向 Agent 项目时，因 Claude Code 内存开销大，需更轻方案。火山引擎 Force 大会发布 Seed - 2.1，作者实测其在办公、编程、图像理解等方面表现出色，认为它跨越质变点，将赋能国内 AI 生态圈。
鹅厂员工的“神之一手”代码都长什么样？
文章分享6位鹅厂同事的“神之一手”代码。有将快排浓缩到5行的Python代码，有解决逆序打印不可变链表的方案，还有修复订单状态同步漏洞、解决内存泄漏等代码，文末邀读者分享代码赢福利。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
cursor 2.0实测：cursor的摆烂之作
作者实测Cursor 2.0后大失所望。它交互粗糙，多智能体虽有多个回答但选方案操作不明；因Claude涨价推出智能分发和自研Composer，后者除快无优势且需魔法；内置浏览器交互麻烦，窗口管理离谱，语音模式基本不可用。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。