「上下文成本」共找到 2096 篇相关文章
韩松等提出FlashMoBA，比MoBA快7.4倍，序列扩到512K也不会溢出
今年2月月之暗面提出MoBA，在处理长上下文有潜力，但业界缺乏对其性能设计原则的理解和高效GPU实现。来自MIT、NVIDIA的研究者提出FlashMoBA，解决了小块MoBA性能挑战，实验显示其在多方面表现优。
IDC 最新AI Infra报告解读｜AI 云爆发的背后：AI 应用全球化势不可挡
近期 IDC 发布报告，显示亚太企业 GenAI 应用增长快，AI 产业从开发到应用落地。这催生 AI 原生云，GMI Cloud 等新兴厂商崛起。同时，企业面临算力管理成本高问题，推理需求重塑市场格局，为中企出海带来机遇。
干货满载！腾讯云AI技术周圆满收官，回顾如何利用AI增效创收
2025腾讯全球数字生态大会启幕前夕，腾讯云联合InfoQ打造「AI技术周」，9月8 - 14日直播输出，围绕多关键议题邀大咖对话，公布多项AI+产品进展，涵盖降成本搭应用、AI Agent落地、数据库智能进化等内容。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
一位工程师对“好代码”的 7 年思考
本文围绕“什么是好代码”展开，作者结合自身职业发展，从初入职场的“黑盒认知”到深入思考多维度评价标准。还介绍代码评审标准，从稳定、体验、效率、成本衡量。最后给出写好代码的方法和面临的挑战。
EMNLP25 | "大模型在环"技术新突破：Dial-In LLM 推动中文客服意图聚类新范式
本文提出LLM-in-the-loop意图聚类框架，以传统聚类为骨架，微调后的中文LLM做语义裁判和命名批注。在10万+真实客服通话数据集上超越基线，解决现有方法依赖词向量、缺乏可解释性、调用大模型成本高的问题。
AI系统10分钟生成CVE漏洞利用程序：网络安全攻防战进入“分钟时代”
研究人员开发的AI系统能10 - 15分钟生成CVE漏洞利用程序，成本约1美元，准确性和可靠性高。此外，HPTSA系统可利用零日漏洞。传统网络安全防御模式失效，攻防失衡加剧，AI攻防对抗趋势明显，有专业化、自主化、高强度特点。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
AI 颠覆的第一个职业是程序员？｜GAIR Live
文章围绕“AI颠覆的第一个职业会是程序员吗”展开讨论。嘉宾认为AI Coding尚处早期，有潜力成新工程范式。它面临“幻觉”、上下文窗口限制等瓶颈，未来开发者角色或转变为“业务翻译者”和“需求架构师”。