算法论文7

OTT：抓出捣乱分子压缩KV Cache

深度学习自然语言处理2025-05-19

AI 摘要

论文提出OTT压缩方法：追踪异常令牌单独高精度保存，其余大胆压缩。实验显示，它在多任务和模型中近乎无损，内存减6.4倍、吞吐量提2.3倍，但在极短文本等场景有局限。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

斯坦福教授直播训练535B大模型

斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。

欧洲两位安全研究员的论文《从专有 LLM API 中窃取推理轨迹》爆火。他们揭示 OpenAI、Anthropic 和 Google 用的“无状态架构”有漏洞，能利用小模型解码大模型推理轨迹，导致隐私泄露等风险。

文章介绍腾讯朱雀实验室开发的AI安全红队测试平台A.I.G，能对AI系统做全面“安全体检”，覆盖AI基础设施、MCP、LLM等风险。它功能实用，安装简单，适合折腾AI服务或MCP的人。

蚂蚁AI安全实验室与厦门大学团队联合提出MedGuard，将医学事实核查嵌入诊疗流程。它是医疗安全基础设施，在诊疗意见等形成前验证事实，在评测和临床评价中表现突出，能准确判断风险边界，可嵌入医疗流程。