「量化内核」共找到 278 篇相关文章
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
一个中大型组织到底需要怎样的AI办公，这场闭门会说清楚了
今年初麻省理工报告指出企业AI投入大但多数试点难量化回报。6月9日金山办公举办闭门会，探讨企业级AI问题，指出其要过数据、知识、安全三关，还给出选场景、重数据等判断。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
Rokid火得太晚了
消费电子市场中AI眼镜迎曙光，乐奇Rokid成AI+AR品类全球销冠。它通过双目衍射光波导和双芯片架构解决轻量化与续航难题，还以开放生态脱颖而出，其判断未来眼镜将成交互主体。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
AMD服务器上一个诡异的性能问题诊断历程
本文复盘AMD服务器高优故障，从8月底起，集团amd turind机器业务cpi和cpu利用率飙升，影响业务性能。经排查是split lock问题，由python解释器调用__libc_free时出错引发，还分析了问题原因、传导路径，并给出应对措施。
Anthropic重磅新研究：当AI采访了1250人，它看见了人类的「职业软肋」
Anthropic推出Interviewer工具，与1250名职场人、创作者、科学家深度对话，记录细节并量化。该工具能自动完成访谈、分析等流程，受访者满意度超97%。研究揭示不同职业对AI态度受职业结构等因素影响。
英伟达亲手终结CUDA「护城河」？传奇芯片架构师引发争议
英伟达CUDA宣布20年来最重大更新，引入CUDA Tile技术，降低开发门槛。芯片界传奇人物Jim Keller质疑此次更新是否终结CUDA「护城河」，文章分析了相关问题，指出瓦片架构对英伟达内外移植性的不同影响。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
Jina Reranker v3: 全新“列式”重排器，0.6B参数刷新文档检索SOTA
Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。