「硬件资源」共找到 863 篇相关文章
TileLang深入详解-第一章-GPU 体系结构复习
作者借长假学习 TileLang 并撰写此文,先复习 GPU 体系结构,包括计算与线程组织、存储层次、专用指令单元,接着介绍核心性能模型与优化原理,最后给出基于 TileLang 的基准测试实践。
2篇最新152页论文,RL+LLM被彻底讲透了!
今天分享2篇2025最新RL×LLM的技术综述,分别聚焦“RL在LLM全生命周期的打法”和“RL如何炼成大推理模型”,梳理玩法、组件、算法演进等内容,还给出开源模型、数据等盘点。
Agent下半场!比Prompt更重要的是「上下文工程」,Anthropic首次系统阐述
Anthropic发文章阐述上下文工程,指出构建语言模型重点正从提示工程转向上下文工程,探讨了其与提示工程区别、重要性,给出实践指导原则、新趋势及应对长时程任务策略。
三个月、零基础手搓一块TPU,能推理能训练,还是开源的
加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身,从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法,及推理、训练的实现。
八爪鱼微电子:打造感算一体的智能识别生态
八爪鱼微电子成立于2019年,是国内智能门锁芯片与模组领域领先企业。它构建‘感算一体’底层技术体系,还通过标准共建、创新平台构建等推进生态建设,欲以技术与生态驱动行业创新。
想实现AGI,得先建好“AI工厂”
人工智能算力需求膨胀,行业陷入‘暴力美学’迷思。摩尔线程在2025 WAIC前夕提出‘AI工厂’理念,解构其‘五要素’,并展示多领域应用案例,为算力建设提供系统性解法。
一起聊聊Nvidia Blackwell新特性之低比特GEMM
本文是NVIDIA Blackwell架构GEMM研究系列文章第三部分,介绍低精度计算,探讨Blackwell GEMM如何执行,关注6位和4位格式及对内存布局影响。还提及低精度优势、数据格式、UMMA实现、操作限制、CUTLASS抽象方式等。
谷歌T5Gemma重燃架构之战!「套壳」反杀Gemma本尊,9B推理快得离谱
2023年以来大模型战场由decoder - only架构主导,Google双线出击。T5Gemma重燃encoder - decoder架构战火,性能提升显著;MedGemma坚守decoder - only路线,强攻医疗多模态,击穿闭源壁垒,打响开源反击战。
StarRocks MCP Server 开源发布:为 AI 应用提供强大分析中枢
过去,开发者让大模型用数据库查询数据需开发插件等,费时费力且难复用。StarRocks MCP Server 提供通用接口,让 LLM 标准化访问 StarRocks,执行 SQL 查询。MCP 规范模型与上下文交互,其核心组件分工明确。
openJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态,导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术,建立语义协同机制,优化 KV Cache 管理,提升 Agent 系统运行效率。