「激活值内存」共找到 637 篇相关文章
CEO卷款夜逃迪拜,15亿美元独角兽爆雷!700印度码农冒充AI,坑惨微软
Builder.ai自称用AI简化软件开发,吸引微软、软银等巨额投资,估值一度超15亿美元。但实际靠人工冒充AI,财务造假,最终破产。类似的“AI诈骗”不止这一起,多家公司被指控欺诈投资者。
长上下文不再难:KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战,现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具,梳理推理优化方法,介绍 MInference 等,还提出 Tri - shape 方法等成果。
他,37岁华裔,靠AI成为福布斯400最年轻亿万富翁,身价180亿美金!
37岁华裔Edwin Chen成《福布斯400》最年轻亿万富翁,身价180亿美元。他拒绝VC融资,用积蓄打造估值300亿美元的AI数据标注公司Surge,希望让AI学会「人类的复杂性」,还担忧AI模型被错误优化。
ICML 2025 | CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略,解决LoRA训练难题。该策略在训练早期随机失活部分适配器,后期提高激活概率,提升模型融合、剪枝能力,还能增强单任务性能与训练效率,已被ICML 2025接收。
1.58bit不输FP16!微软推出全新模型蒸馏框架,作者全是华人
微软推出蒸馏框架BitNet Distillation,实现几乎无性能损失的模型量化。它含三阶段,经实验在多下游任务表现近全精度模型,降内存开销、提推理速度,作者全是微软研究院华人。
Hybrid Model Support:阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战,阐述内存管理、关键技术优化方案,验证性能,并指出未来演进方向。
万帧实时!流式3D重建天花板,被国产开源模型打破了
蚂蚁正式开源 LingBot-Map,这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建,处理速度约 20 FPS,在多基准测试中超越现有流式方法。
“养团队造语言”时代终结?Rust传奇人物用Claude造出新开源编程语言,AI写下万行代码:大模型上限很高,我学会了高效用它!
Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者,现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全,使用体验更顺手,开发深度依赖Claude。
独家对话希捷科技Jason Feist:AI时代,企业正在“删除删除键”|甲子光年
本文是「甲子光年」对希捷科技云存储业务高级副总裁杰森·费斯特的独家对话。费斯特指出,AI 基础设施正从计算、内存转向存储,企业倾向长期保存数据,高容量硬盘重要性凸显。他还探讨了存储系统变化、技术创新等问题。
创业7年干出一个全球第一,这家深圳芯片公司冲刺港股IPO
曦华科技冲刺港股IPO,其2024年scaler芯片出货量全球第二,ASIC架构scaler产品市场份额达55%排第一。不过,公司仍亏损,且面临激烈竞争。它靠产品创新和高研发投入提升估值,后续有应对竞争的规划。