「大模型推理加速」共找到 8576 篇相关文章
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
Qwen3-Embedding 全揭秘：从技术到服务，打造高效AI产品的关键路径
文章全面揭秘 Qwen3-Embedding，介绍其核心原理、优势、应用场景。还给出在 PAI 和百炼平台的使用方法，含部署、推理、微调等。通过对比实验，凸显其低延迟、低成本特点，未来将成语义理解核心设施。
Claude Code + Kimi K2全栈开发教程，1小时上线「"丑咪"挑战赛」！
作者分享用Cursor + Claude code + Kimi K2开发「丑咪挑战赛」全栈项目的体验，介绍组合优势、接入教程、前端测试案例和使用技巧，认为Kimi K2在agent和coding能力上表现不错，适合作为Coding模型。
吴恩达YC演讲：AI创业如何快人一步？
吴恩达在YC演讲为AI创业者建议，强调执行速度是衡量创业公司成功的重要指标。他探讨AI技术加速工程和产品反馈等，还谈及AI创业机会在应用层，给出提升创业公司速度的方法等。
如何实现RAG与MCP集成
文章聚焦RAG与MCP集成，介绍RAG突破传统模型局限及不足，引出Agentic RAG。阐述MCP革新AI工具连接方式，结合二者构建集成架构，还给出实现步骤、优化策略与代码实践，为释放AI系统潜力提供方案。
全模态RAG突破文本局限，港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。
集GraphRAG 和 DeepSearch于一体的智能问答系统graph-rag-agent
本项目结合GraphRAG与私域Deep Search，实现可解释、可推理的智能问答系统。亮点有从零复现GraphRAG、创新融合DeepSearch等，具备多模块功能，还有简单演示，地址https://github.com/1517005260/graph-rag-agent/blob/master/readme.md。
亚马逊码农噩梦来袭！沦落「仓库工人」，每天流水线分拣「AI代码」
AI工具广泛引入亚马逊编程工作，虽提升效率，但让程序员工作节奏变快，像流水线工人。亚马逊管理层推崇AI，认为能降成本提效率，可程序员担心创造力被扼杀、职业发展受影响。此外，实验显示AI编码助手能提升开发人员效率。
黄仁勋发布量子计算专用CUDA！预言量子计算机几年内应用，但现在还离不开GB200
在GTC巴黎演讲中，英伟达CEO黄仁勋预言量子计算机几年内可实际应用，还推出量子-经典加速超算平台CUDA - Q。此外，他提及物理AI是战略核心，有巨大市场机会，还展示多款产品与技术。