「推理优化与部署」共找到 3516 篇相关文章
为何我的 Docker 镜像如此庞大？使用“dive”进行深度剖析以找出臃肿之处
在AI项目里，Docker镜像可能臃肿庞大，影响开发与部署。本文以朴素BERT分类器镜像为例，指出未优化镜像会导致开发慢、CI/CD低效等问题，还介绍用dive工具剖析镜像，找出臃肿之处以优化。
CNSNS｜西工大曹文博、张伟伟：克服优化求解器中的损失条件数瓶颈：一种良性损失函数
基于优化的偏微分方程求解方法受关注，但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈，指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR，在收敛速度与稳定性间建立平衡，实验验证其有效性。
功能强到离谱！开源 3D AI 桌面伴侣来了，可直接部署到B站直播间等平台！
开源项目 Super Agent Party 颠覆对‘桌宠’认知，它是 AI 智能体平台，有知识库、联网等能力，可部署到多平台。具备无缝能力增强等核心功能，提供多种安装选项，应用场景丰富。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
Meta被骂跑偏后摊牌！Alex Wang回应新团队目标：个人Agent全球化部署，Manus已在应用上开路
Meta超级人工智能实验室（MSL）负责人Alexandr Wang发声，称其任务是推动超级智能技术突破并做成产品推向数十亿用户，要把个人Agent全球化部署，还谈到与研究和产品平衡、Meta的AI思路等问题。
让世界模型推理效率提升70倍：上海AI Lab用“恒算力”破解长时记忆与交互瓶颈
上海AI Lab联合多家机构开源Yume1.5，针对视频生成构建可交互“世界模型”的核心难题，提出时空信道联合建模（TSCM），实现近似恒定计算成本的全局记忆访问，展示了世界模型工程化落地的可行路径。
小米的首代机器人VLA大模型来了！丝滑赛德芙，推理延迟仅80ms丨全面开源
具身机器人成科技新热点，大家期待其释放生产力。小米首代具身VLA大模型Xiaomi - Robotics - 0抓间歇停顿问题，4.7B参数规模下推理延迟仅80ms，还做三项技术创新，且全面开源。
国产类脑大模型适配国产沐曦GPU！长序列推理提速超百倍，仅用2%数据匹敌主流模型
中国科学院自动化所李国齐、徐波团队发布类脑脉冲大模型SpikingBrain (瞬悉)-1.0，借鉴大脑信息处理机制，适配国产沐曦GPU，长序列推理提速超百倍，仅用2%数据匹敌主流模型，探索构建国产自主可控类脑大模型生态。
堆推理链全错了！林俊旸离职首曝：曾在阿里 Qwen 踩中一个“致命”技术误区
阿里千问技术负责人林俊旸离职后发声，复盘 Qwen 训练尝试，指出合并 thinking 和 Instruct 模式不理想。他认为大模型未来应从‘推理思维’走向‘智能体思维’，并阐述了智能体思维的特点和挑战。