「分层缓存」共找到 266 篇相关文章
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
AI编码不是梦：手把手教你指挥Agent开发需求
文章聚焦AI实践应用，以后端开发为例，介绍用AI编码实现需求的流程，涵盖工程结构、各层代码生成等。还分析AI编程问题，提出解决方案，给出生产案例，最后展望AI在研发中的应用前景。
不死的程序员
文章回顾计算机技术演进中八次“程序员替代论”浪潮，从编译器诞生到如今大语言模型崛起。虽每次都预言程序员被取代，但实际是角色重塑、分层，新需求增长超人力节省，程序员价值仍在。
Pokee.ai 朱哲清：用 RL 搭建智能体的「骨骼与神经」| AI 产品十人谈
《AI 产品十人谈》对话 Pokee.ai 朱哲清，探讨强化学习与 Agent。朱哲清是强化学习信徒，曾带领 Meta 团队突围。他认为单靠预测难完成复杂任务，强化学习是超人类智能的关键，介绍了 Pokee.ai 产品优势及对通用 Agent 的看法。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
OCR又出宠OpenDoc，速度超MinerU6倍
复旦开源的OpenOCR是面向通用OCR任务的开源平台，其OpenDoc是超轻量文档解析系统。它采用Pipeline模式，两阶段解析不易放大误差。UniRec - 0.1B有独特架构与分层监督训练等创新技术。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。