「细粒度分析」共找到 1113 篇相关文章
Agent狂欢下的冷思考:为什么说Data&AI数据基础设施,才是AI时代Infra新范式
文章指出Agent成AI主流叙事,但企业部署后效果不佳,因未认识到Agent平台无法单独构成AI Infra。强调数据是AI Infra核心,提出Data&AI数据基础设施是新范式,还分析赛道玩家并介绍科杰科技的实践。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域?
文章围绕Transformer架构展开,先介绍其诞生背景,对比CNN、RNN等模型,阐述其在多领域的核心地位。接着剖析工作流程、实现原理,包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型,并提及通义千问3与MCP协议。
砺算科技GPU背后的故事
文章讲述砺算科技GPU背后故事,包括其团队核心成员来源,经历的资金、欠薪等问题,还提及S3人员流动衍生出的其他GPU企业。分析砺算科技团队稀缺性、融资短板等情况,对比不同GPU发展路线。
一文全解析:AI 智能体 8 种常见的记忆(Memory)策略与技术实现
本文剖析8种常见AI记忆方案,如全量记忆、滑动窗口等,分析其原理、特点和适用场景,还给出模拟代码助理解。不同策略各有优劣,适用不同对话场景,能为项目评估、选择和实现Memory方案提供参考。
优化搜索系统:平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲,探讨搜索系统优化。以优步外卖为例,分析其在数据索引、检索和排名方面挑战,介绍优化技术及对用户体验和系统性能影响,还提及架构、分片技术等内容。
AI 基础知识从0.1到0.2——用“房价预测”入门机器学习全流程
文章以“房价预测”为例,介绍算法工程师开发模型全流程,包括需求分析、数据收集、划分数据集等十步。详细讲解各步骤操作,如用均方误差衡量模型效果,还提及多种模型及调优方法,助开发者入门机器学习。
腾讯混元A13B用130亿参数达到千亿级效果,Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数,却能和千亿级大模型竞争,获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’,依托高质量预训练和结构化后训练,多方面表现突出且已全面开源。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色,但推理机制成谜。本文提出用推理图解码其‘思考轨迹’,分析环状结构、直径大小和小世界特性,发现蒸馏模型等特点,为理解AI推理及模型优化指明方向。
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
图解Vllm V1系列7:使用AsyncLLM做异步推理
文章因异步RL讨论热,探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理,分析单条请求处理流程及阶段,说明并发提升效率的方法,还提及多请求并发及构建异步推理引擎思路。