「长度压缩」共找到 279 篇相关文章
推理效率狂飙60倍：DiDi-Instruct让扩散大模型16步超越千步GPT
普渡大学等研究者提出 DiDi-Instruct 后训练方法，可将扩散大语言模型推理加速 60 倍，超越传统 GPT 模型。该方法实现推理效率与效果双提升，为大语言模型落地提供新方案。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
无Tokenizer时代真要来了？Mamba作者再发颠覆性论文，挑战Transformer
Mamba作者之一Albert Gu参与的论文提出分层网络H - Net，用动态分块取代tokenization。Tokenization虽能压缩序列但有缺点，H - Net在多方面表现出色，或预示无需Tokenizer训练时代到来。
单卡搞定万帧视频理解！智源研究院开源轻量级超长视频理解模型Video-XL-2
智源研究院联合上海交通大学等机构发布新一代超长视频理解模型Video-XL-2。它单卡能处理万帧视频，编码2048帧仅需12秒，在效果、长度和速度上全面优化，已开放模型权重。
OpenAI推出云端编程智能体Codex，进一步推动软件工程领域变革
OpenAI昨夜发布研究预览版Codex，一款集成在ChatGPT中的高级编码智能助理。它基于codex - 1模型，支持多种编程语言，有深度代码分析等核心功能，还有codex - mini - latest API版本，或重构软件开发行业。
AIAA J | 西工大翟凯宇、李楠等：膨胀拐角影响下入射激波/边界层干扰的标度律分析
高超声速进气道肩部区域的激波 - 膨胀波 - 边界层干扰影响大，传统标度律有误差。本研究结合实验与理论，研究膨胀拐角影响下的入射激波/边界层干扰，提出改进标度律，还构建混合监测框架实现准确预测。
SimpAgent (ICCV2025 Highlight)：上下⽂简化重塑GUI智能体，更少计算，更强性能
在多模态大模型加持下，纯视觉GUI智能体成通用操作智能体重要方向，但面临元素与历史上下文问题。哈工深和华为提出SimpAgent，从上下文简化建模入手，实现更快更强性能，工作被ICCV 2025录用。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
The Batch: 939 ｜在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。