流处理架构」共找到 2822 篇相关文章

产品应用8

腾讯混元A13B用130亿参数达到千亿级效果,Flash Attention作者点赞

腾讯混元A13B模型仅130亿激活参数,却能和千亿级大模型竞争,获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’,依托高质量预训练和结构化后训练,多方面表现突出且已全面开源。

量子位
开源动态8

杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA

172天后,Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构,1T参数,激活参数32B,在多任务上领先,发布即开源,还分享技术细节,实测有亮点也待优化,展现回归之势。

量子位
推荐文章7

万字长文!大模型LLM推理优化技术总结

文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。

OpenMMLab
新闻资讯7

特朗普AI计划在GitHub上泄露,网友怒喷用AI代码“治国”!

距离特朗普政府启动联邦政府AI发展计划不到一月,“AI.gov”项目代码库在GitHub泄露。该项目由GSA与TTS小组开发,计划7月4日上线。此次泄漏引发对公共部门过度用AI的不满,也引发网友对工作中高层盲目推广AI的吐槽。

AI前线
新闻资讯7

告别 CVE?欧洲漏洞数据库 EUVD 正式上线

欧盟网络安全局推出欧洲漏洞数据库(EUVD)测试版,与CVE并行独立运作,旨在提升欧盟内部漏洞处理协调性与透明度。CVE虽为国际标准,但美国政治动向引发其稳定性担忧,EUVD可作备用且有增强功能。

InfoQ
产品应用8

微信自研高性能推理计算引擎 XNet-DNN:跨平台 GPU 部署大语言模型及优化实践

本文深入解析微信自研的高性能推理计算引擎 XNet-DNN,介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力,在多方面超越现有解决方案,还给出了详实对比实验数据。

腾讯技术工程
新闻资讯8

华为+DeepSeek,推理性能创新高!技术报告也公布出来了

华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。

量子位
产品应用7

腾讯 Hy3 一手实测,Agent 能力提升不止一点

作者拿到 Hy3 模型测试资格,介绍其架构、性能和价格优势,还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果,最后评价 Hy3 能力、价格、适配方面的表现,并分析 WorkBuddy 领先原因。

特工宇宙
新闻资讯8

深度讨论新一轮模型发布:当智能进入月更时代 | Best Ideas

近期全球模型迎来高密度发布期,Anthropic、OpenAI、腾讯、DeepSeek 等纷纷推出新模型。文章复盘了 Opus 4.7、GPT - 5.5、DeepSeek V4 等模型实测体验,探讨架构变化、能力边界与产业影响,还分析算力、token 价格等问题。

海外独角兽
推荐文章8

实战案例|当本体遇上 Agent:让 AI 真正“听懂业务”并“按规矩办事”【上】

本文是“企业级本体应用”系列第三篇,探讨本体如何融入企业智能体系统。指出本体非数据库或图谱,是语义层。介绍本体在Agent系统的架构与职责,通过案例展示用本体做规则判断和多维归类,凸显其优势。

AI大模型应用实践