「高性能全闪存储」共找到 3416 篇相关文章
静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。
突发,打工版Claude 5来了!人人都能用
Anthropic推出Claude Sonnet 5,代号Fennec。它性能直逼旗舰Opus 4.8,即日起成所有Free和Pro用户默认模型,能自主规划等。价格有促销,虽tokenizer或使花销增加,但仍比Opus划算,防护能力也强。
12ms!一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战,Smart Turn将决策过程缩至12毫秒。其v3.1版有改进,新增数据集提升英语识别准确率,推出未量化版本推理更快,8MB模型性能优,已在HuggingFace开源。
调整训练数据出场顺序,大模型就能变聪明!无需扩大模型/数据规模
微软亚洲研究院提出全新文本数据组织范式DELT,通过引入数据排序策略,充分挖掘训练数据潜力,优化训练数据的组织方式,在不同模型尺寸与规模下都达到了良好性能,且不用增加数据量或扩大模型规模。
全网开测GPT-oss!技术架构也扒明白了
全网开测GPT-oss,它登顶开源模型王座,性能比肩o3-mini、o4-mini,适合本地推理。网友探索出多种用法,还推出Pro版。其架构也被扒出,官方介绍了微调方法,吴恩达等大佬也参与测评。
ICML 2025 | CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通
来自多机构研究者提出CoTo渐进式训练策略,解决LoRA训练难题。该策略在训练早期随机失活部分适配器,后期提高激活概率,提升模型融合、剪枝能力,还能增强单任务性能与训练效率,已被ICML 2025接收。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
数据合成有没有未来?事实结论来了
有人认为用大模型合成数据可快速生产,无需人工标注。但作者观察发现人工标注不仅必要且要求更高。以Scale AI、Surge AI为例说明标注价值,还展示‘智能知识’团队对两数据集审查结果,证明高质量数据需专家和管理流程。
亿级日活App的“算力生死劫”:推理成本倒挂,他们靠跨云架构砍掉75% GPU集群
一家AI穿搭+购物推荐的出海应用DAU破亿,但算力和传输成本高,ARPU远低于成本。该企业转向Akamai推理云,换用RTX PRO 6000,缩减服务器集群,降低成本,采用跨云架构过渡,实现零阵痛平替。
360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题
360 集团作为互联网安全公司,业务数据规模膨胀,Kafka 集群运维难题凸显。AutoMQ 存算分离等特性适配 360 需求,360 验证其性能后用于日志检索平台,解决冷读难题,未来将推广到更多业务线。