「长度压缩」共找到 279 篇相关文章
逼AI当山顶洞人！Claude防话痨插件爆火，网友：受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火，冲破2w星。它核心是条prompt，删掉冠词等废话，号称省75%输出token。但它不压缩模型后台推理token，真实成本节省存疑。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
英伟达帮你省钱，让大模型推理「短而精」，速度快5倍
过去大模型推理追求长链思维，导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法，通过强化学习优化方法让模型‘短而精’，推理长度减超70%且准确率不变，还适用于大模型。
今天，分享Clawdbot记忆系统最佳工程实践
文章分享了 Clawdbot 记忆系统的最佳工程实践。它能自主处理现实任务，其持久记忆系统独特，将一切保留在本地。文中介绍了上下文构建、记忆存储、搜索等方面，还提及多代理记忆、压缩、刷新等内容。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。
追平GPT-4o，数学基测96.3%高分，Hermes4 来了
Nous Research推出新一代大模型Hermes 4系列，其有混合推理和长度控制机制，还能用DataForge“造”数据，经Atropos质检。它在数学等领域表现佳，追平GPT - 4o，是开源AI对巨头的挑战。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
DeepSeek重磅开源3B OCR模型，一天处理20万页文档！一天内斩获6K标星！
DeepSeek开源3B OCR模型DeepSeek - OCR，参数量仅30亿，单张A100 - 40G一天能处理20万页文档，不到24小时获6K标星。它是视觉压缩引擎，解决大模型处理长文本算力爆炸问题，有诸多技术亮点。