「本地推理」共找到 2447 篇相关文章

开源动态8

智谱终于发布GLM-4.5技术报告,从预训练到后训练,细节大公开

上个月底智谱开源 GLM-4.5 及轻量版,成绩亮眼引热议。现其技术报告发布,详述预训练到后训练细节,还介绍了开源 RL 框架 slime,展示模型架构、训练阶段等,评估了在多任务上的表现。

机器之心
开源动态8

阿里AI 重磅第4发:电影级MOE 视频模型Wan2.2正式开源!

阿里通义团队开源电影级视频生成模型Wan2.2,将光影、色彩、镜头语言装进模型,支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型,推理省计算资源,性能超主流模型,获国外网友盛赞。

AGI Hunt
产品应用7

昇腾910B大模型实测:开源框架能不能打?真相全放这了

文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。

探索AGI
新闻资讯7

不再“纸上谈兵”:大模型能力如何转化为实际业务价值

InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。

AI前线
产品应用7

一个记忆库,N 个 AI 助手用!mem0 OpenMemory MCP 打通 Cursor/Claude/Windsurf ~

OpenMemory MCP是本地运行的共享记忆系统,基于MCP协议,让多个AI工具共享上下文记忆。它通吃主流MCP客户端,提供标准API,数据私密,有可视化面板且一键安装。官方列举应用场景,虽扩展性待考,但方向值得关注。

AI进修生
开源动态7

本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。

猛猿
开源动态9

训练一个强大的智能体,究竟有多简单?字节跳动等推出Axion 1.0

杜克大学、字节跳动等推出 Axion 1.0,用两阶段监督微调加强化学习训练智能体,公开训练代码、数据构造方法与数据。

机器之心
开源动态8

港科大和微软联合开源 SocialCoach,AI 情商教练!

香港科技大学(广州)与微软亚洲研究院联合开源基于大语言模型的AI情商教练SocialCoach,支持用户在低风险模拟环境练习社交对话,练后提供逐字点评,可在线体验或本地部署,采用Apache 2.0协议可完全商用。

开源星探
产品应用8

新一代Mac mini搭载M6开售!M5 Ultra也来了

苹果更新Mac mini和Mac Studio,带来M6、M5 Ultra芯片。M6是苹果首颗2nm制程M系列芯片,M5 Ultra为四晶粒封装SoC。苹果用四个档位搭建桌面Mac本地AI算力梯队,8月27日预购,9月22日发售。

新智元
新闻资讯7

OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?

OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。

芯师爷