「开源推理模型」共找到 9453 篇相关文章
卡内基梅隆大学开源LegoGPT，用AI设计乐高模型
卡内基梅隆大学开源LegoGPT，可依文本提示生成物理乐高模型。它把乐高设计转为自回归文本生成任务，基于LLaMA - 3.2 - 1B - Instruct微调，应用场景广泛，如教育、玩具设计等。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透
DeepSeek最新论文给Transformer加上“条件记忆”，补上原生知识查找机制。梁文锋署名，与北大团队合作。提出全新范式及Engram模块，解决传统N - gram问题，研究稀疏性分配，验证推理能力提升，兼顾工程优化。
小模型用不好Skill？新范式让模型学会Skill的底层逻辑，3B模型推理token省5倍，性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0，提出技能内化思路。它在训练中引入关键机制，让小模型把技能内化到参数里。实验显示，其效果出色，token效率高，为小模型成领域专家提供新方向。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
手机跑推理模型：Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型，仅需900MB内存就能在手机运行。它专为简洁推理训练，性能提升明显，多数性能基准超Qwen3 - 1.7B，在多平台表现佳，还支持主流推理框架。
登顶全球权威榜单！浙大创业团队百卡打造开源实时世界模型，视频秒变可交互4D世界
全球科技界正豪赌「世界模型」，但主流模型多停留在「视觉生成」。中国影溯公司发布并开源世界模型 InSpatio - World，综合性能优异，以小博大登顶权威榜单，降低了物理世界数字化门槛，引发行业关注。
大模型虽好，但恕我直言：在OCR面前，开源小模型更香
作者所在公司项目需处理大量纸质文档，起初考虑云端大模型API调用和开源大模型本地化部署，却因成本高、硬件要求高受阻。后经推荐调研PaddleOCR，其功能全、成本低、易用性强，最终被选为项目核心方案。
3B小模型，编程得分比肩Opus 4.5，神秘模型引发热议，原是国产
最近，3B小模型VibeThinker - 3B在X上火了，它在编程等推理任务上比肩前沿大模型，体积却小很多。它是国产模型，来自新浪微博团队，在各项基准测试表现出色，不过在通用知识领域表现欠佳。
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。