生产级架构」共找到 2814 篇相关文章

推荐文章7

图解Vllm V1系列4:加载模型权重(load_model)

文章聚焦vllm加载模型权重的流程。从入口函数切入,详细分析DefaultModelLoader的工作步骤,包括初始化模型架构和实际加载权重,还给出各步骤代码及作用,为想操作load_model的人提供框架。

GiantPandaLLM
新闻资讯7

微信龙虾只活2天:一次更新干崩全生态,OpenClaw 撞上 Vibe Coding 天花板

3月22日微信官宣推出支持接入OpenClaw的ClawBot插件,两天后OpenClaw更新,将插件生态系统迁移到官方ClawHub市场,引发诸多问题,如系统崩溃、插件失效等。此次事故暴露系统脆弱性,也为Vibe Coding发展敲响警钟。

InfoQ
新闻资讯8

推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon

大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。

InfoQ
开源动态7

DeepSeek 新模型 R1-0528 悄悄开源,与o3 相当,实测来了。

DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升版DeepSeek R1-0528,基于DeepSeek-V3-0324模型,架构和训练方法有改进,性能与o3相当,实测表现不错。

AI进修生
算法论文8

挑战扩散自回归统治!字节提出视觉生成第三种路线,让模型像人类一样边画边改

五一期间字节商业化技术团队研发出新一代视觉生成模型,其底层架构是全新的第三条路——生成精炼网络GRN。它能让AI像人一样边画边改,解决了现有模型的问题,在多项基准测试中刷新SOTA记录。

量子位
产品应用7

面壁MiniCPM4推理速度3倍,碾压同尺寸Qwen3,阿里上眼药了~

面壁发布包含10个模型的MiniCPM4系列,其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点,还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。

CourseAI
开源动态8

Qwen3新成员:Embedding系列模型登场!

今天正式发布Qwen3-Embedding系列模型,专为文本表征等任务设计,继承Qwen3多语言理解优势。在多项基准测试表现卓越,已在多平台开源,有卓越泛化性、灵活架构与多语言支持等特点。

通义千问Qwen
产品应用7

Cloudflare 发布 Dynamic Workers 公开测试版:基于 Isolates 的沙箱环境执行 AI 智能体代码

Cloudflare 推出 Dynamic Worker 公开测试版,面向付费用户。它用 V8 Isolates 运行代码,启动快、内存效率高,基于 Code Mode 理念,用 TypeScript 接口定义 API,有多种防护策略,还发布配套库,已用于生产

AI前线
开源动态7

YC总裁开源个人AI记忆系统GBrain:让你的OpenClaw/Hermes长脑子

YC总裁Garry Tan开源GBrain,这是经实战检验的AI记忆中枢。它有真实数据规模、混合搜索架构等特点,核心工作流含实体检测等。技术选型有考量,还提供体验方式和技能包文档。

AI工程化
新闻资讯8

阿里成立Token Hub事业群,打碎钉钉,做成龙虾!

阿里巴巴成立Alibaba Token Hub事业群,首席执行官吴泳铭挂帅。旗下设5大事业部,目标是创造、输送和应用Token。还发布企业旗舰应用悟空,重写底层架构,打造专属文件系统与Skill生态,展示多款智能硬件。

AIGC开放社区