「内存一致性模型」共找到 7827 篇相关文章
2G 内存跑 Gemma 3n 完整版!全球首个 10B 内模型杀疯 LMArena:1300 分碾压记录
当地时间6月26日,谷歌正式发布Gemma 3n完整版,可在本地硬件运行。它是开源大模型,具多模态能力,最低2GB内存设备就能跑,E4B模型LMArena测评表现佳,还有MatFormer架构等多项创新。
jiSGLang集成ktransformers:2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户,SGLang集成ktransformers的CPU内核,支持直接运行Kimi K2 Thinking模型。它无需等量化,还能微调,虽性能与GPU方案有差距,但给用户新选择。
单卡即可微调大模型!内存占用仅1/8,性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高,低秩适应(LoRA)方法虽降低成本,但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架,在25个多领域任务验证效果好,内存占用仅1/8。
关于现代GPU体系结构内存一致性(Memory Consistency)模型的一些猜想(二)——同步性能
文章聚焦GPU应用层面,通过实验对比不同同步代码实现的性能。在H20 GPU上测试,发现scope越小同步性能越好,内存屏障开销随scope增大而增加,还介绍非PTX及官方推荐实现方式并给出性能对比。
模型汤新做法!Meta|提出“类别专家汤”:SoCE,大幅提升模型性能,刷新SoTA!
大语言模型领域,提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE,通过分析类别相关性操纵模型权重,在BFCL上刷新SOTA记录,为开源社区指明低成本进化之路。
手机跑推理模型:Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型,仅需900MB内存就能在手机运行。它专为简洁推理训练,性能提升明显,多数性能基准超Qwen3 - 1.7B,在多平台表现佳,还支持主流推理框架。
年度AI论文!全球三大顶尖模型的防蒸馏机制全面告破:小模型“套出”大模型隐藏思维链,Kimi-K3重现概率异常
这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞,攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链,此漏洞也致企业数据隐私安全问题。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
人物一致性新王Nano Banana登基,AI图片编辑史诗级升级。
Nano Banana是神秘的AI绘图新模型,大概率出自Google。它生图一致性超强,在人物一致性、背景替换等多方面测评中完胜GPT - 4o等模型。虽仅在LMArena盲测随机出现,仍值得一试。
首个可学习姿态对齐的视频扩散模型!StableAnimator++
当前人像动画扩散模型在人物身份一致性上表现不佳,复旦大学联合多团队提出StableAnimator++,它是首个可学习姿态对齐的视频扩散模型,能生成自然保真的人物动画,还在保持人脸一致性上做了改进。