搜索：开源推理模型

「开源推理模型」共找到 9140 篇相关文章

76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区

前OpenAI联合创始人Andrej Karpathy警示业界重视模型框架。Hugging Face实验表明优化模型外层执行机制可大幅提升Agent性能，Karpathy开源项目揭示AI价值在循环迭代。还介绍了搭建持续进化Agent的方法及注意事项。

法国AI初创公司Mistral与All Hands AI合作，发布全新开源语言模型Devstral，有240亿参数，所需算力低，可本地部署。它能解决真实GitHub问题，在SWE基准测试中表现优于多个模型，还能通过API访问。

香港科技大学等团队提出 Loop - ViT，将循环 Transformer 引入视觉推理领域。该模型参数少但性能强，3.8M 小版本追平人类平均水平，揭示视觉推理任务中‘思考时间’比‘模型大小’更重要。

Meta开源DepthLM，首证视觉语言模型不改架构就能媲美纯视觉模型的3D理解能力。通过视觉提示等创新策略，它精准完成像素级深度估计等任务，为多领域带来前景。

9月17日，梁文锋担任通讯作者的DeepSeek - R1推理模型研究论文登《Nature》封面，它是全球首个经同行评审的主流LLM。不靠人工标注，靠强化学习激发推理能力，学会‘自我反思’，在多任务上优于传统模型。

近年来大视觉语言模型虽推动多模态智能发展，但推理成本高昂。山东大学和MBZUAI团队提出TransPrune，从演化视角衡量视觉Token重要性，保持性能无损同时降低60%推理成本。

文章以作者自身经历引入，指出开源大模型选型易陷入‘越大越好’误区。讲透选型4个核心维度，含实操步骤与避坑指南，还介绍选后评估方法，助新手快速锁定适配模型。

自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。

中国AI独角兽MiniMax发布模型M2，刷新开源SOTA。它采用混合专家架构，平衡了智能、速度和成本。在多个权威测试中表现优异，价格仅为Claude 3.5 Sonnet的8%，还提供多种部署方式和限时免费服务。

作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。