算法论文8
8B 模型靠 ParallelComp 超 GPT - 4o
机器之心
AI 摘要
香港大学博士生熊璟提出 ParallelComp 方法，通过并行分块、KV 缓存压缩和注意力偏差校准，让 8B 模型在超长文本任务性能接近甚至超 GPT - 4o 等，为 LLM 落地带来新范式。
阅读原文 · 机器之心
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华Jev-LDE：一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习（ICL）中示例选择成本高、效果不佳的问题，提出Jev-LDE方法，仅对初始检索示例做一次局部编辑，即可大幅提升1-shot准确率，推理成本增量很低。
机器之心
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。
腾讯技术工程
开源动态9
Perplexity自研CobbleDB替代DynamoDB
Perplexity核心搜索面向大模型检索，原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题，两名工程师两个月用Rust写出4万行自研CobbleDB，迁移后性能成本均大幅优化，后续计划开源。
InfoQ
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。
机器之心