「混合精度NPU」共找到 463 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
被DeepSeek带火的OCR，最新8个开源模型盘点~
DeepSeek-OCR发布让OCR大热，PaperAgent梳理盘点8个热门开源OCR模型，如DeepSeek-OCR用‘上下文光学压缩’技术，Nanonets-OCR2-3B以零样本视觉链式思维为核心等。
从BM25到Multi-Vector：6种Embedding演进路线
文章介绍从BM25到Multi - Vector的6种Embedding演进路线，涵盖Sparse、Dense等类型，分析其痛点、效果、案例及选型建议，还给出不同场景的方案选择和步骤。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
RAG 2.0 深入解读
文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。
1000+页PDF解析速度暴涨3倍，MinerU模式不香了
百度PaddleOCR推出HPD - Parsing小模型，文档解析速度大幅提升，是上一代最快模型的1.62倍、自身原解码方式的3.06倍。它采用层级并行解码架构，有两层并行设计，效果出色且兼容性好，还分享了优质训练方法和优化思路。
AI 成为主流负载后，数据基础设施将如何演进？
随着AI应用爆发式增长，数据系统成为智能系统一部分。Apache Doris社区提出2026年主题‘Scale Intelligence, Accelerate Insight’，从场景和能力两方面阐述演进方向，以响应AI时代数据基础设施变化。
准确率提升至 90%，阿里商旅基于 AgentScope 构建多智能体差旅助手最佳实践
阿里商旅依托阿里巴巴生态，旗下AliGo差旅助手可实现业务闭环。早期单智能体模式有瓶颈，后基于AgentScope构建多智能体系统，从技术选型、架构设计等多方面优化，事项收集准确率提至90%+，还解决诸多问题并获奖。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
Clawdbot 如何搭建永久记忆管理系统：全靠 MD 文档
AI研究工程师Manthan Gupta复盘Clawdbot记忆机制，其记忆用MD文档存档，有双层记忆系统。系统有独特管理方式，如压缩、记忆刷新等，坚持透明度、搜索、持久性、混合等原则。