「文本压缩」共找到 669 篇相关文章
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
腾讯纯文本LLM训视觉encoder，拿捏图表长视频，达到开源小模型SOTA！
腾讯开源Penguin - VL，直接用纯文本LLM训视觉编码器，跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强，训练分三阶段，相关代码、模型等已开放。
语音界Sora！微软刚开源新模型，一次生成90分钟语音、3200倍压缩率
今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B，有诸多技术突破，如可合成90分钟语音、支持4名发言人、3200倍音频压缩等，还首创双tokenizer协同架构。未来微软还会开源更大参数模型。
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
Qwen3深夜上新Embedding系列，专为文本表征等任务设计，在Qwen3基础模型上训练，有0.6B/4B/8B三种尺寸，8B版本在MTEB榜单排第一，性能超商业API，已在多平台开源。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
两周复刻DeepSeek-OCR！两人小团队还原低token高压缩核心，换完解码器更实用
两人小团队仅用两周复刻DeepSeek-OCR，复刻版DeepOCR还原其低token高压缩核心优势，还在关键任务上追上原版表现。它完全开源，无需大规模算力集群，训练方案适配中小团队。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案，仅用0.1%训练数据实现大模型7倍压缩，保留99%精度。该成果登ICLR 2025 Spotlight，已加入昇腾ModelSlim工具包。