本地部署」共找到 916 篇相关文章

新闻资讯7

Groupe SNCF 使用 Talos OS 和 Kubernetes 实现基础设施的现代化

法国国家铁路集团(Groupe SNCF)从传统 VM 的 Kubernetes 部署迁移到基于 Talos OS 和 OpenStack 的云原生平台,解决运维挑战。虽面临组织和技术难题,但紧密合作加强了平台,未来将扩展平台、迁移关键应用。

InfoQ
新闻资讯8

陈大年复出,入局大模型

国产大模型领域黑马StartLux-V1.0-27B-Preview,参数量仅27B,在信通院MCP测试中排综合第二,仅次于1.6万亿参数量的DeepSeek-V4-Pro。其创始人陈大年押注本地模型,公司专注该领域商业化。

量子位
开源动态8

GitHub Trending 榜一的开源 Cowork 来了!4天4.5K星,首个多智能体工作流应用!

开源项目Eigent冲上GitHub Trending榜首,4天获4.5K+ Star。它是全球首个多智能体工作流桌面应用,完全开源、支持本地模型,有多种智能体工作流,具备本地优先、并行工作流等特性,提供三种使用模式。

开源星探
开源动态8

国产版Ollama来了,Clawdbot终于不只属于Mac和英伟达

2月2日清昴智能发布玄武CLI开源版本,可理解为“国产版Ollama”。它能抹平硬件架构差异,让国产卡大模型部署零门槛。解决了国产算力在软件生态层面的痛点,提供统一稳定的部署与调用体验。

机器之心
开源动态8

不用人类手写训练框架了!AI自己写代码,训出1B端侧「小钢炮」

5月25日,面壁开源端侧文本基座大模型MiniCPM5 - 1B,主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练,效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优,应用边界广,部署门槛低。

机器之心
产品应用7

昇腾910B大模型实测:开源框架能不能打?真相全放这了

文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署

探索AGI
推荐文章7

【博客转载】CUDA Local Memory

文章围绕CUDA本地内存展开,介绍其为线程私有存储空间,访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例,展示数组索引复杂度对存储位置的影响,还给出判断存储位置的方法及优化建议。

GiantPandaLLM
产品应用7

Unsloth让大模型跑在手机上!

Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。

AI工程化
新闻资讯7

Next.js 真有那么好用吗?Netlify 谈他们遇到的六个现实问题

Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等,并提出应对办法与展望。

InfoQ
开源动态7

一键部署,100+安全工具,一句话就能打靶!

网络系统复杂,传统渗透测试繁琐低效。开源项目CyberStrikeAI基于Golang开发,集成100+安全工具,通过自然语言对话让安全测试变简单,在GitHub获2.6K+ Star,优势显著。

开源先锋