「零Token部署」共找到 1623 篇相关文章
豆包 1.6发布后,我用火山引擎Trae + MCP,仅半天做了一个“秒懂科研”的PaperAgent!
文章介绍用火山引擎Trae + MCP和豆包1.6构建“秒懂科研”的PaperAgent。对比其与传统开发范式,突出前者高效、低成本优势,还展示了PaperAgent技术栈及开发过程,体现AI云原生开发魅力。
vLLM Ascend超越MindIE? 昇腾推理Qwen3与DeepSeek R1 Distill性能实测
国内开发者在昇腾NPU上进行大模型推理面临挑战,华为MindIE推理引擎使用门槛高。昇腾联合vLLM社区推出vLLM Ascend插件。本文用GPUStack平台实测其与MindIE性能差异,得出两者在不同场景各有优势的结论。
大模型微调知识与实践分享
文章详细介绍大型语言模型(LLM)微调知识与实践,包括模型结构、参数量等知识,以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程,介绍相关平台和框架,如星云、TuningFactory等。
告别卡脖子,华为黑科技破局!昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大,推理部署难。华为诺亚提出Pangu Light框架,结合算法创新与国产昇腾平台,通过跨层注意力剪枝等技术,解决剪枝后模型失稳问题,实现高压缩率、推理加速与高精度。
甲小姐对话柳钢:AI编程商业化的中国解法 | 甲子光年
AI编程赛道发展火热但商业化难题凸显,国内外市场境遇不同。极狐GitLab CEO柳钢将困境转化为突破口,推出驭码CodeRider。他认为用AI赚钱时代已到,还分享对产品、商业、开源等方面的看法。
万字实录:VLA 范式,具身智能的曙光与迷雾丨GAIR Live
2025年5月9日,雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等,指出其面临推理、数据等瓶颈,还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。
惊天大瓜!中东土豪发「纯血」大模型,背后底座竟是MiniMax?
沙特发布号称100%沙特血统的国家级大模型HUMAIN M3,后被发现基于中国MiniMax的M3模型。沙特用超1万亿阿拉伯语Tokens后训练,使模型在阿拉伯语赛道领先,代表中国AI出海新形态。
刚刚,OpenAI新Transformer火了!Astra架构首次曝光
OpenAI下一代Astra采用「循环深度」推理方法,思考Token减少但性能提升,不过其思考过程难监控。此前业界已对「循环Transformer」有研究,该架构适合数学编程任务,Astra实力获验证,GPT - 6或即将发布。
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
别指望你的组织能变得 AI Native
一家公司买企业级 AI 授权全员铺开,虽 88% 员工采用,但交付速度未变,仅 10% 的人烧掉 90% 的 Token。文章指出企业 AI 采用率指标荒诞,分析企业 AI 应用现状,还给出落地推进建议。