「模型成本」共找到 8388 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播,邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
陈大年复出,入局大模型
国产大模型领域黑马StartLux-V1.0-27B-Preview,参数量仅27B,在信通院MCP测试中排综合第二,仅次于1.6万亿参数量的DeepSeek-V4-Pro。其创始人陈大年押注本地模型,公司专注该领域商业化。
NVIDIA 入局量子基础设施:Ising 模型主打自动校准与实时纠错
NVIDIA宣布推出开源NVIDIA Ising模型,解决量子处理器校准和纠错问题。它含校准和解码两组件,速度和准确性优,可本地部署。与传统方法不同,它是与硬件无关的开源模型层,社区反馈有期待也有疑问。
AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来?
GitHub与Anthropic几乎同时调整AI写代码收费模式,GitHub Copilot按使用量计费,Claude Code限制Opus模型访问。AI公司此前靠低价扩张,如今成本压力大,将成本转嫁到用户,而很多token被浪费,AI使用成本可能超程序员。
央企牵头!这个AI开源社区要让大模型跑遍「中国芯」
6月30日百度文心大模型4.5系列开源并登陆魔乐社区,该社区发起‘模型推理适配协作计划’,想让大模型跑遍中国芯。其升级工具中心和协作空间,联动产业力量,解决模型在国产芯适配难题,推动生态发展。
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
The Batch: 894 | 面向生物医学的多模态模型
过去几年联合推理模型进展快,但生物医学领域能力碎片化、脆弱或难解释。2026 年,学术界应推进多模态模型建设,关注深度整合、可解释性、数据效率和适应性及模型在工作流中的整合。
精打细算虾养成指南: 省 Token 和把 AI 用好,从来就是一件事
文章指出用AI时Token成本高、模型变笨,原因是上下文管理不善。介绍了省Token和用好AI的方法,如按需取上下文、明确约束、多智能体协作、按阶段切换模型等,核心是在合适时间将合适上下文装入合适模型。
刚刚,智源全新「悟界」系列大模型炸场!AI第一次真正「看见」宏观-微观双宇宙
6月6日第七届智源大会,智源研究院推出全新「悟界」系列大模型,含原生多模态世界模型Emu3、脑科学多模态通用基础模型见微Brainμ等,反映其对大模型发展的研判,推动AI向物理世界迈进。