「DeepSeek - V3」共找到 984 篇相关文章
图解Vllm V1系列7:使用AsyncLLM做异步推理
文章因异步RL讨论热,探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理,分析单条请求处理流程及阶段,说明并发提升效率的方法,还提及多请求并发及构建异步推理引擎思路。
DeepSeek押注的Harness,被这篇最新综述彻底讲透了
这篇综述讲透了Agent Harness Engineering,CMU等联合提出ETCLOVG七层架构,证明Harness Engineering是LLM Agent工业落地主战场,介绍了其发展阶段、各层架构及作用等。
五份专利曝光,长文拆解特斯拉V3灵巧手技术路线
特斯拉Optimus人形机器人量产计划因灵巧手难题被搁浅。4月16日,世界知识产权组织公布其第三代灵巧手5项专利,文章从整体构型、前臂、手腕等方面拆解其技术路线,各部分紧密协作,体现系统思维。
谷歌的DeepSeek时刻:LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法,能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失,还介绍其工作原理及实验结果。
图解Vllm V1系列4:加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入,详细分析DefaultModelLoader的工作步骤,包括初始化模型架构和实际加载权重,还给出各步骤代码及作用,为想操作load_model的人提供框架。
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。
DeepSeek之后,中国AI「自己出题」杀进Nature通讯!全球仅4家
一家成立不到两年的香港AI公司维纳智能,不堆参数、不依赖人工标注,靠让大模型自动生成高精度推理数据登上Nature通讯。其技术可解决Agent泛滥的困局,还推出特色产品,业务增长快。
Karpathy投了一家AI记忆公司,撞名DeepSeek Engram记忆架构
新公司Engram完成9800万美元融资,投资人有Andrej Karpathy等。它想为AI构建能持续学习的“记忆层”,解决模型吸收组织内部知识问题,首个产品是面向Agent的API,已与多家合作。
Claude Mythos核心架构开源!22岁天才一人破解,融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构,开源OpenMythos项目。该架构采用循环深度Transformer,不堆参数,循环思考16次推理,结合MoE层,参数效率翻倍。
北大团队改造DeepSeek注意力,速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA,突破64K上下文索引瓶颈,相比DSA提速2 - 4倍,且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步,实测表现亮眼,也指出后续改进方向。