「并行推理加速」共找到 2748 篇相关文章
MemOS：一种用于 AI 应用的记忆操作系统
大型语言模型缺乏记忆管理系统，限制其发展。MemTensor与高校联合开源MemOS，它将记忆视为可管理资源，有三层架构，系统化三种记忆类型。评估显示其在推理、检索、加速等方面表现优异。
Rust版本的DeepSeek-OCR来了，告别python原版的繁琐配置
网友用Rust重写DeepSeek - OCR推理栈，解决原版Python依赖复杂问题。此版本无Python依赖，可离线运行，兼容OpenAI API，还支持苹果芯片Metal加速，介绍了技术实现、使用方法和场景。
智源悟界·Emu3.5发布，开启“下一个状态预测”！王仲远：或开启第三个 Scaling 范式
2025年智源发布悟界·Emu3.5，在“Next-Token Prediction”基础上实现“Next-State Prediction”。它能力全面提升，或开启第三个Scaling范式，还在预训练、强化学习、推理加速上有技术创新。
真可用！美团数字人模型开源，MV、电商等统统拿下
美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。
2 天斩获 3.5K 标星！GitHub 惊现神器！一个二进制文件把 DeepSeek V4 搬进终端
GitHub上的DeepSeek TUI项目开源两天获3.5K Star，它把DeepSeek V4模型搬进终端成编码智能体，有原生RLM并行推理等亮点，提供多种安装方式、支持多提供商，适合终端开发者。
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。
英伟达改卖Token？黄仁勋GTC后发声：token就是AI新通货，值钱的不是算力，是“每度电的智商”
英伟达黄仁勋在采访中强调其是加速计算公司，非单纯 GPU 公司。他认为 AI 竞赛从拼算力变拼产出，token 是新通货，还阐述了 AI 瓶颈、架构发展、推理编程、CPU 角色等观点。
代码怎么才能跑的更快
文章围绕让代码跑更快展开，先介绍调整源代码的方法，如降低循环开销、去除内存引用等，又阐述使用硬件加速指令，像用 SIMD 函数、避免分支语句等，还提及多核并行和分析瓶颈等要点。
一夜之间，AI终获「永久记忆」！最难考试99%刷爆SOTA，全网直呼疯狂
新智元报道，Supermemory团队推出超级记忆系统ASMR，在AI记忆界最难考试LongMemEval中刷到99%准确率。它抛弃传统模式，采用多Agent并行推理，4月初将开源代码。此外，其背后的Supermemory引擎功能强大，能让AI真正拥有记忆。
State of AI 2025：霍桑效应下，AI 是「赚钱机器」还是「泡沫机器」？
Air Street Capital发布2025年度《State of AI Report》，证实AI成重要经济增长动力，但技术突进伴随矛盾。报告提及AI推理能力有‘霍桑效应’，或成泡沫，不过AI - first公司商业化加速，付费工具采用率和合同价值飙升。