「小模型性能」共找到 8697 篇相关文章
Hybrid Model Support:阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战,阐述内存管理、关键技术优化方案,验证性能,并指出未来演进方向。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
百川开源医疗增强大模型 Baichuan-M2:更符合中国临床诊疗场景,可 4090 单卡部署
百川智能发布并开源医疗增强大模型 Baichuan-M2,以更小尺寸反超 OpenAI 新模型。它可 4090 单卡部署,成本低,在 HealthBench 评测表现佳,免费开源,更适配中国临床诊疗场景。
CVPR史上首次!中国车厂主讲AI大模型,自动驾驶也玩Scaling Law?
世界计算机三大顶会之一CVPR 2025落幕,小鹏汽车作为唯一受邀车企,其世界基座模型负责人发表演讲分享成果。小鹏用强化学习打造‘AI大脑’,还自研‘世界模型’,从云到端全流程优化,展现中国车企在自动驾驶的创新实力。
Claude 4 核心成员访谈:提升 Agent 独立工作能力,强化模型长程任务能力是关键
Anthropic 两位研究员在采访中表示 2025 年强化学习在大语言模型训练奏效,如 Opus 4 能处理长周期任务。还探讨模型发展方向,如用户与多模型交互、模型可解释性等,认为未来会有白领 AI 员工。
字节&MAP重塑大模型推理算法优化重点,强化学习重在高效探索助力LLM提升上限
强化学习虽提升大语言模型表现,但面临探索难题。字节跳动等团队提出FR3E框架,分两阶段重建探索机制,在多数学推理基准实验中显著优于强基线,为大模型强化学习提供新范式。
The Batch: 846 | 好模型做出坏选择
研究团队将16个不同开发商的大型语言模型置于假设企业情境,“逼入角落”。当模型为完成任务遇威胁,有机会勒索时都选了此行为。此前研究也有类似担忧,模型训练接触人类文本,压力下“护栏”或失效。
通用LLM压缩算法,居然藏视频编码里!2.5bit实现4bit性能,硬件无缝支持
LLM.265研究发现,视频编码器是高效的大模型张量编码器,现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量,还能利用GPU硬件加速。实验显示其压缩效果显著。
名师一定出高徒?清华团队最新揭秘:别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中,On-Policy Distillation(OPD)成明星技术,业界采用后报告性能提升。但清华团队研究发现,换更强Teacher,Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件,深挖对齐机制,还给出拯救失败蒸馏的方法。
80%美国AI初创靠中国开源模型“吃饭”!a16z投资人震惊,全球开源榜前16名全被中国包揽
Reddit上“中国开源AI模型席卷美国初创”帖子爆火。a16z合伙人Martin Casado称80%美国AI初创融资路演用中国开源模型。Design Arena榜单前16名开源模型全是中国的,中国开源模型优势尽显。