「显存压缩」共找到 303 篇相关文章
最强开源0.9B级OCR模型！PaddleOCR-VL本地一键部署！
作者分享本地部署PaddleOCR-VL的经历，包括踩坑过程、解决办法及启动指令。该模型识别速度快，支持OpenAI API格式，可轻松接入Fastgpt、Dify、n8n等平台。
文本已死，视觉当立！Karpathy狂赞DeepSeek新模型，终结分词器时代
DeepSeek新成果DeepSeek - OCR以像素处理文本，压缩率小于1/10，基准测试领跑，开源一夜获4.4k星。Karpathy力挺，认为应赶走分词器，展望视觉成通用输入前景，马斯克有更科幻猜想。
Meta新研究：字节模型蒸馏后，天花板破了
本文介绍Meta FAIR与华盛顿大学合作的最新研究，针对传统大模型蒸馏Token候选空间大、存储成本高的痛点，提出字节级蒸馏方案，验证其可突破Token天花板提升模型能力上限。
硬件成本直降60%！原生分布式VS传统分库分表数据库
服务器硬件价格上涨，传统分库分表架构资源利用效率低。OceanBase 作为原生分布式数据库，通过多种技术优化资源，降低硬件依赖，多个案例显示其能大幅降低成本、提升性能，获 Forrester 认证。
扎克伯格的豪赌初见成效？Meta新方法让LLM长上下文处理提速30倍
Meta Superintelligence Labs提出REFRAG高效解码框架，解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码，让首个token生成时间加速达30.8倍，扩展上下文，且精度不降反升，不过价值待实际检验。
GPT-6 真要来了！OpenAI全新推理架构“循环深度”首次曝光：可榨出14倍参数潜能
OpenAI将推旗舰模型GPT - 6（内部代号Astra），采用“循环深度”新技术，能榨出14倍参数潜能，降低成本，但会使AI推理过程不可读，加重安全担忧。OpenAI已因该模型“能力过强”踩刹车。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
挑战Claude code和Cursor：阿里Qoder对标全球，AI编程迎来“上下文”革命
AI编程工具爆发式增长，‘上下文’成实用化难题。阿里推出Qoder平台，结合大模型与Agent，可深度检索代码、理解上下文。本文采访Qoder团队工程师，解析其定位、成本、技术路线等关键问题。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
1M 上下文时代太费 Token，告诉你我的 Coding Agent 省钱方法
当下GPT-5.5等模型原生支持1M上下文，虽能支撑长任务，但易被噪音干扰且费Token。作者以Claude Code为例，介绍做好会话管理的多种省钱方法，如根据任务选择会话策略、利用rewind功能等。