「上下文消耗」共找到 788 篇相关文章
DeepSeek不惜代价保住它!V4关键特性被挖出来了
DeepSeek V4技术报告被深挖,为保留核心设计「batch invariance」不惜代价。该设计能保证线上推理稳定、各环节对齐,是复杂上下文系统底座,但会牺牲GPU利用率等,换来训练等多阶段可复现和稳定度。
腾讯开源Cube Sandbox:60毫秒冷启动的AI沙盒运行时
Harness设计中沙箱是重点难点,传统方案在安全与性能间妥协。腾讯开源Cube Sandbox,用RustVMM重构虚拟化层,冷启动60毫秒,单实例5MB内存开销,有真内核隔离等优势,开源版本含网络隔离组件。
一种可以减少 CI 回归测试套件规模的更佳方案
作者作为测试架构师,认为减少CI回归测试套件规模理论诱人但实践常失望。介绍有效处理大型测试套件的方案,如随机趋势分析、多上下文模式匹配等,还谈及无门控测试等优势,能助力管理测试集。
作业帮Flink On K8s落地实践
本文分享作业帮2025年Flink on k8s的探索与实践,包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题,阐述选型Flink K8s Operator模式的原因,还提及任务状态观测、环境资源成本等,分析核心问题并给出解决方案。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。
万卡时代,企业需要怎样的算力集群?
过去两年,AI算力需求跃升,消耗从训练主导转向推理驱动。企业算力需求有突发性等特点,智算集群是关键方案。InfoQ联合腾讯云发起直播探讨,还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
月烧35万元token、逼得Claude官方连夜限速!被全网吐槽的中国“榜一大哥”,已经靠 AI 年入千万了
X用户“刘小排”认领30天按200美元计划消耗5万美元Claude Code token一事。他靠AI年入近千万,用Claude Code做产品,回应网友质疑,称在规则内使用,还分享创业经验,认为AI是长期机会。
EasyCache:无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来,扩散模型在视频生成领域广泛应用,但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案,在多模型实验中实现大幅提速且视频质量几乎无损,为技术落地提供基础。
李志飞:1 个人、2 天做出 AI 时代的「飞书」,真正的 Founder Mode
出门问问创始人李志飞在「TicNote」发布会上分享「一人公司」实验。他用AI编程工具2天做出AI时代“飞书”原型,还谈了使用AI编程问题、对智能和Agent思考等,重新找回AGI信仰。
单应计算加速数十倍、计算量减少95%!基于几何的SKS和ACA矩阵分解被提出
东华大学、上海交大和中科院自动化所团队提出基于几何的SKS和ACA单应矩阵分解,计算量比通用方法减超95%,能减少二维码扫描等应用的计算消耗,有望用于多领域,论文已被IEEE T - PAMI接收。