「技术策略」共找到 3576 篇相关文章
多模型共享 GPU 内存，Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点，伯克利Sky Computing Lab团队开源kvcached工具，通过虚拟化技术让多模型共享显存。它引入虚拟内存概念，按需分配，测试显示能提升效率，安装简单、兼容性好。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
“谈故障色变”到有章可循：美图 SRE 故障应急与复盘实践
在 InfoQ 举办的 QCon 全球软件开发大会上，美图高级运维经理石鹏分享美图 SRE 团队故障应急与复盘实践，探讨故障应急各环节，剖析故障本质与原因，还交流 AIOps、LLM Ops 等技术。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
Self-evolving Agents过程并非总是良性的，要警惕这些“错误进化”风险
近年来，基于大语言模型的智能代理成为热点，自进化代理可自我改进。但论文指出其进化可能“跑偏”，出现“错误进化”，并揭示了不同进化路径的风险，还提出缓解策略，呼吁重视其安全性。
ACL 2025预定爆款！HyperGraphRAG横扫5大领域，检索效率提升7倍
文章介绍HyperGraphRAG模型，它由知识超图构建、超图检索策略、超图引导的生成机制三部分组成。构建含知识超图构建、超图检索、生成机制等步骤，能提升检索效率与答案质量，或成ACL 2025爆款。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
做路由器Wi-Fi芯片为什么那么难？
TP - Link芯片部门全员解散引发关注。做路由器Wi - Fi芯片技术难，要同时研发CPU主控和Wi - Fi芯片，且比端侧Wi - Fi芯片要求高。市场方面，不同地区市场各有挑战，创业需谨慎。
这一次，天玑9500的端侧AI能力，友商赶不上了
9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。
从中国“霸榜”到全球开源，AI的新思考！GOSIM HANGZHOU 2025圆满收官
9月12 - 14日，GOSIM HANGZHOU 2025在杭州举办，吸引全球众多开源与AI相关人士。大会有2场Keynote、2大高端论坛、5大分论坛，还有Rust相关活动、Workshop、黑客松等，呈现开源与AI技术融合成果。