「压缩」共找到 207 篇相关文章
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
DeepSeek重磅开源3B OCR模型，一天处理20万页文档！一天内斩获6K标星！
DeepSeek开源3B OCR模型DeepSeek - OCR，参数量仅30亿，单张A100 - 40G一天能处理20万页文档，不到24小时获6K标星。它是视觉压缩引擎，解决大模型处理长文本算力爆炸问题，有诸多技术亮点。
自回归科学基座模型 BigBang-Proton，提出实现 AGI 的新路线
超对称公司发布自回归科学基座模型 BigBang - Proton，挑战主流 AGI 技术路线。它实现多学科问题与 LLM 统一预训练和推理，有三项创新，在多专业任务表现出色，还提出宇宙尺度压缩构想。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
又一家清华系具身智能企业浮出水面：天使轮融资数千万元，打造具身数据Infra丨甲子光年
清华系具身智能企业灵御智能完成数千万元天使轮融资，累计融资近亿元。其聚焦打造具身数据Infra，研发TeleAvatar和TeleDroid构建数据采集母机，锁定三类应用场景，还从两方面压缩成本。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
实测最新开源的DeepSeek-OCR后，我有些不一样的看法，有些话可能只有我敢说
实测最新开源的DeepSeek - OCR，它并非传统OCR，不适用于传统场景。其最大意义是解决大模型上下文长度问题，通过文字图片压缩解压提高处理速度。模型功能多样，是让AI看图思考的新思路。
花了几百万办完一场AI大会后，想跟你分享这6个感悟。
作者分享举办AI大会的6个感悟，指出AI强大时线下真实更重要。如AI可消灭信息差但压缩不了体验差，品味是活出来的，线下交流能带来偶然性等，鼓励人们去线下获得真实体验。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。