「零开销逐层权重卸载」共找到 295 篇相关文章
兼顾效率、成本与能力，百灵开源旗舰推理模型 Ring-2.6-1T
5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。
最新豆包、deepseek、元宝、夸克、千问、百度、文心、Kimi、微信搜一搜、抖音、小红书等AI搜索生成内容引用来自哪些地方？【干货】
作者白杨SEO指出，生成式人工智能发展快，AI搜索优化GEO受关注。介绍了豆包、DeepSeek等多个AI搜索生成内容引用来源，如豆包引用抖音、头条等，DeepSeek用开源数据等，还提及各平台优化要点。
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。
WithAnyone重磅开源：这可能是你见过最自然的AI合照模型
复旦大学携手阶跃星辰推出全新AI合照生成模型WithAnyone，它能生成自然、真实、毫无违和感的AI合照。该模型打破以往方法局限，当前ComfyUI版本已上线，还全面开源代码、模型权重等。
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
FlashAttention-4震撼来袭，原生支持Blackwell GPU，英伟达的护城河更深了？
在 Hot Chips 2025 上，TogetherAI 首席科学家 Tri Dao 公布 FlashAttention-4，其在 Backwell 上比英伟达 cuDNN 库中的注意力核实现快 22%，还实现两项算法改进。该技术一直迭代升级，提升了注意力计算效率。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
40年首次突破！清华大学发布全新最短路径算法，打破理论瓶颈:数据中心有望节省大量计算资源
清华大学Ran Duan、Longhui Yin团队发表论文，提出确定性新算法，在稀疏图上表现超经典Dijkstra算法。新算法时间复杂度为`O(m log²/³ n)`，不维护全局有序顶点队列，应用前景广，可节省计算资源。
阿里重磅开源！Open Code Review：一周 5k star，为你的代码保驾护航
阿里开源 Open Code Review，它前身是内部 AI 代码评审助手，经大规模验证。该工具结合确定性工程与 Agent，解决通用 Agent 评审代码的问题，在准确率、效率等方面表现出色，还介绍了使用方法和评估方式。