DGX GB300」共找到 116 篇相关文章

开源动态8

深度拆解 Muse Glimmer,24GB 显存跑 30B Agent,Meta 到底做了什么?

昨天,Meta发布约30B参数的多模态Agent模型Muse Glimmer,支持128K级上下文。它采用Apache 2.0许可证开放,有量化版本等。其技术设计围绕显存、上下文管理等问题展开,在多方面做了取舍。

AI科技评论
开源动态8

如何在24GB显存里,塞下一个万亿参数的巨兽?KTransformers入选顶会SOSP

清华大学与趋境科技联合研发的KTransformers系统,可让消费级显卡跑万亿级参数模型,其论文入选SOSP 2025。该系统解决MoE模型本地部署难题,技术创新多,还与SGLang合作,提升硬件利用率。

AIGC开放社区
开源动态8

斩获3K+ star,再见传统开发!这款开源AI后台开发框架让效率提升300%

ruoyi - ai是基于ruoyi - plus开发的开源AI平台,集成前沿模型,有聊天、绘画等全栈AI能力,具多模态交互和企业级部署支持,核心功能丰富,技术架构优,有实战成效,与同类有差异。

小华同学ai
新闻资讯7

数学题干带猫AI就不会了!错误率翻300%,DeepSeek、o1都不能幸免

研究发现,在数学题后加如“猫一生绝大多数时间都在睡觉”这类话术,会让大模型答错概率翻3倍,DeepSeek - R1、OpenAI o1等推理模型中招。研究探索攻击方式,总结出三种攻击模式。

量子位
开源动态8

开源TTS离线工具!浏览器本地运行,仅300MB模型大小,零服务器依赖,隐私0泄露!

传统TTS工具依赖云端,隐私风险高、延迟大且费用高。而Streaming-KokoroJS是基于Kokoro - 82M开发的开源TTS工具,能在浏览器本地运行,零服务器依赖,隐私零泄露,具备多项实用功能。

开源星探
开源动态8

模型即智能体,Kimi K2 Thinking多项评估超越顶尖闭源模型,300轮工具调用不疲倦

月之暗面发布Kimi K2 Thinking,它是Kimi迄今最强开源思考模型,基于模型即智能体理念训练,可自主连续工具调用与多轮思考,多项评估超顶尖闭源模型,还实现原生INT4量化,提升生成速度。

AIGC开放社区
产品应用8

18个月,中国Token消化狂飙300倍!别乱烧钱了,清华系AI Infra帮你腰斩API成本

中国大模型API服务碎片化、“黑盒”问题严重,成本高。清程极智1月29日发布AI Ping,类似“中国版OpenRouter + Artificial Analysis”,可评测、路由大模型,帮开发者降低成本、提升效率,还能重塑服务市场秩序。

机器之心
新闻资讯7

300万人围观卡帕西亲测 Opus 5:两小时写完 5500 行代码, 却连自己写的游戏都玩不了

8月2日,Andrej Karpathy在X公布实验,让Claude Opus 5用Three.js将《指环王》第一章渲染成3D场景,约两小时写出5500行代码。Opus 5按传统游戏开发路线搭建场景,这改变了内容定制方式,但模型验证能力不足。

InfoQ
开源动态7

推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型

OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。

量子位
新闻资讯7

突然爆火!近千人大排长龙安装!有人宣称短短数日已赚26万元!昆明市场有人报价300元;官方发声:警惕安全风险

OpenClaw是一款开源AI智能体,能接管电脑完成多种任务,但安装复杂。这催生“代装AI”生意,有人数日赚26万,腾讯免费安装引千人排队。不过,其部分实例存安全风险,官方提醒防范。

昆明走进自然户外