算法论文8

TokenSwift实现长文本3倍加速

机器之心2025-05-18

AI 摘要

BIGAI NLCo团队：提出推理加速框架TokenSwift，解决传统自回归长文本生成瓶颈，在多主流模型实验中加速比超3倍，与原模型质量一致，为长文本场景提供支撑。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

阿里Qwen3.8-Flash发布，性价比惊人！

8月大模型厂商多上调API价格或收缩免费额度，因推理需求增长跑赢算力供给。阿里发布Qwen3.8-Flash并开源，成绩亮眼且价格低。它是Qwen4架构预演，有四大技术创新，提升了模型效率。

8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。

当下大模型能力多靠人为框架，能力上限受限。文章提出“启发学习”，将其集成到推理侧成Isaac框架，通过Prompt与网络层注入复用旧经验，实验显示能大幅提升大模型任务性能。

当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。