「推理加速技术」共找到 4954 篇相关文章
“谈故障色变”到有章可循：美图 SRE 故障应急与复盘实践
在 InfoQ 举办的 QCon 全球软件开发大会上，美图高级运维经理石鹏分享美图 SRE 团队故障应急与复盘实践，探讨故障应急各环节，剖析故障本质与原因，还交流 AIOps、LLM Ops 等技术。
英伟达用NIM + NV-Tesseract模型，提高芯片生产良率
芯片制造良率控制难题待解，传统方法各有局限。英伟达推出NV - Tesseract模型家族和NIM推理微服务，二者结合用于半导体晶圆厂生产，可实时发现问题、预测故障，降低成本，为制造打开新大门。
告别微调！斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。
做路由器Wi-Fi芯片为什么那么难？
TP - Link芯片部门全员解散引发关注。做路由器Wi - Fi芯片技术难，要同时研发CPU主控和Wi - Fi芯片，且比端侧Wi - Fi芯片要求高。市场方面，不同地区市场各有挑战，创业需谨慎。
这一次，天玑9500的端侧AI能力，友商赶不上了
9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。
从中国“霸榜”到全球开源，AI的新思考！GOSIM HANGZHOU 2025圆满收官
9月12 - 14日，GOSIM HANGZHOU 2025在杭州举办，吸引全球众多开源与AI相关人士。大会有2场Keynote、2大高端论坛、5大分论坛，还有Rust相关活动、Workshop、黑客松等，呈现开源与AI技术融合成果。
OpenAI 发布公司领导者 AI 行动指南，助力企业发展
OpenAI 2024 年走访超 200 家营收 10 亿美元企业，发现拖慢 AI 落地的是‘领导层叙事缺口’。结合客户实践，总结出对齐、激活、放大、加速、治理 5 个可落地步骤，助企业构建以 AI 为核心的组织。
资本视角下的智造落地战：五位投资人划定关键赛道与投资红线｜甲子引力X
在「2025甲子引力X中国科技产业投资大会」上，五位投资人共议智能制造。他们认为当前制造业面临降本增效等挑战，投资时“团队”是关键，中国智能制造在多领域有成长空间，创业者要内修能力、外抓需求。
通用LLM压缩算法，居然藏视频编码里！2.5bit实现4bit性能，硬件无缝支持
LLM.265研究发现，视频编码器是高效的大模型张量编码器，现成视频编解码硬件压缩AI模型数据效率高。它灵活控制码率、可压缩多种张量，还能利用GPU硬件加速。实验显示其压缩效果显著。
RAG2.0进入“即插即用”时代！清华YAML+MCP让复杂RAG秒变“乐高”
检索增强生成系统（RAG）复杂度提升，开发者面临高昂工程成本。基于MCP架构的UltraRAG 2.0框架，让科研人员用YAML文件声明复杂逻辑，降低技术门槛与学习成本，还提升了复杂多跳问题性能。