「算力成本」共找到 2258 篇相关文章
小白必读：到底什么是FP32、FP16、INT8？
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提，不同格式在精度、范围、内存占用和计算速度上有差异，还提及多精度与混合精度计算，以及不同硬件对格式的支持情况。
干货满载！腾讯云AI技术周圆满收官，回顾如何利用AI增效创收
2025腾讯全球数字生态大会启幕前夕，腾讯云联合InfoQ打造「AI技术周」，9月8 - 14日直播输出，围绕多关键议题邀大咖对话，公布多项AI+产品进展，涵盖降成本搭应用、AI Agent落地、数据库智能进化等内容。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
一位工程师对“好代码”的 7 年思考
本文围绕“什么是好代码”展开，作者结合自身职业发展，从初入职场的“黑盒认知”到深入思考多维度评价标准。还介绍代码评审标准，从稳定、体验、效率、成本衡量。最后给出写好代码的方法和面临的挑战。
EMNLP25 | "大模型在环"技术新突破：Dial-In LLM 推动中文客服意图聚类新范式
本文提出LLM-in-the-loop意图聚类框架，以传统聚类为骨架，微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线，解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。
AI系统10分钟生成CVE漏洞利用程序：网络安全攻防战进入“分钟时代”
研究人员开发的AI系统能10 - 15分钟生成CVE漏洞利用程序，成本约1美元，准确性和可靠性高。此外，HPTSA系统可利用零日漏洞。传统网络安全防御模式失效，攻防失衡加剧，AI攻防对抗趋势明显，有专业化、自主化、高强度特点。
杭州跑出的AI独角兽，突围大模型的“第二战场” | 甲子光年
2025年AI行业有转变，算力堆叠对大语言模型性能提升放缓，空间智能成“第二战场”。谷歌、英伟达等巨头纷纷布局，群核科技作为杭州“变量”，发布业界首个3D室内空间大模型，构建数据飞轮，技术有望落地多领域。
英伟达最新芯片B30A曝光
最新消息，英伟达正开发代号B30A的AI芯片，性能超H20，基于Blackwell架构，单芯片配置，原始算力或为B300 GPU双芯片一半，下月交付测试。此外还将开发RTX6000D用于AI推理，9月小批量交付。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。