「高效训练」共找到 2545 篇相关文章
面向高效异构训推的统一通信库DeepLink DLSlime开源
上海人工智能实验室开源异构芯片通信库 DLSlime,作为 DeepLink 核心组件,它连接多应用和传输链路。具备异构互联、多链路支持等亮点,性能优于主流方案,已在实验室多个项目验证,还助力国产 AI 工具链发展。
阿里、南开大学发布免训练,视频大模型创新压缩方法
视频模型序列化处理影响推理速度与扩展性,传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor,用SCC方法和两步时空压缩策略,实验显示其性能优于其他方法。
低延迟、高吞吐,LLM优化与高效推理引擎综述
LLM计算成本高,用户要低延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
AI生图免训练提速1000%,办法:最简洁的“三阶段流水线”
AI画图速度慢,过往主流加速方法有局限。MrFlow团队提出三阶段流水线,在Qwen - Image等模型上实现10倍以上端到端加速,生成效果好,优势显著,还能与时间步蒸馏叠加,且完整开源。
AI Infra入门干货总结:大模型是如何高效推理的
作者深入研读vLLM源码,以Llama 3为例,聚焦Decoder-Only架构LLM,介绍推理各环节及张量维度变化,讲解连续批处理和Paged Attention概念,还阐述推理流程、采样策略等,最后总结相关拓展内容。
DeepSeek-V4发布!高效百万上下文智能普惠时代来了
DeepSeek-V4发布,是开源社区关键分水岭。它解决超长文本处理效率痛点,架构与优化有多项突破,降低算力消耗和成本,适配国产芯片,性能比肩顶级闭源模型,推动开源社区两大未来趋势。
面壁智能开源 EdgeClaw,一款安全高效端云协同的龙虾 Agent。
当下AI Agent端侧常被忽视,数据任务都涌向云端致隐私泄露和算力浪费。近期面壁智能等联合开源EdgeClaw,以三级安全和性价比感知协同机制,解决OpenClaw数据泄露、token成本高等问题。
GAN之父Ian Goodfellow病后归来,剑指高效世界模型
GAN之父Ian Goodfellow等提出,利用符号化表示和游戏虚拟世界数据,或为构建动作条件多模态世界模型最佳路径,该模型可支持长时序任务预测与规划,还探讨构建原因、数据来源等。
视觉+语言+动作!超强具身“训练宝典” EmbRACE-3K
视觉 - 语言模型在具身环境中表现有局限,港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤,有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型,还建立新基准评估多个模型。
【医学影像分割】UN-SAM:一种高效且通用的细胞核分割模型
文章提出UN - SAM框架解决现有SAM在医学影像分割依赖人工标注、跨域泛化不足问题。它含三大模块,能自动生成提示、增强特征判别力和跨域分割精度,实验显示其在多数据集表现优,代码已开源。