「低内存」共找到 1179 篇相关文章
容器可观测新视角: SysOM延时监控助力定位业务抖动原因
云原生场景下,资源超卖和混合部署使宿主机与容器化应用资源竞争加剧,引发内核级延迟问题。本文结合实战案例,介绍用ack - sysom - monitor Exporter分析定位内核延迟,还介绍了SysOM监控及解决系统延时的方法。
用中等难度prompt做高效post training
近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。
产品经理也能“开发”需求?淘宝信息流从需求到上线的AI端到端实践
淘宝推荐信息流业务被“需求多、技术栈杂、协作慢”困扰,上线周期长。WaterFlow这一AI驱动的端到端开发实践,让部分需求两天内上线,产品经理也能参与。文章揭秘其落地及协作模式改变,还展示了实践效果。
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
智谱开源GLM-4.5工具调用超越Claude Opus 4.1,成本仅1.4%
开源模型GLM-4.5在伯克利工具使用榜单上超越Claude Opus 4.1,运行相同任务成本仅为1.4%。它采用MoE架构,在多场景表现卓越,推理速度快,成本低,还接入多款主流编程工具。
MIDAS:快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注,但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架,基于LLM驱动的自回归模型,结合轻量级扩散头,实现低延迟、交互式多模态控制,还构建大规模数据集等。
完全离线!开源实时语音识别神器,本地实时语音转文字,秒级延迟+说话人识别!
实时语音转文字和说话人识别需求渐长,但传统工具多依赖云端,有隐私与延迟问题。GitHub上的开源项目WhisperLiveKit是本地化语音识别方案,速度快、延迟低、支持说话人识别,适合会议等场景。
追剧不断网,可能背后有个AI在加班,故障诊断准度破91.79%
中兴通讯和中国移动团队针对电信网络故障诊断难题,提出 TN - RCA530 基准和 Auto - RCA 框架。测试多个大模型,初始准确率低,经框架优化后,Gemini - 2.5 - Pro 准确率从 58.99% 升至 91.79%,超人工水平。
ART:构建可靠智能体的强化学习新框架
现有AI智能体在真实场景表现不稳定,阻碍其应用走向生产。ART开源强化学习框架诞生,通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境,还给出使用方法,在案例中展现强大效能与经济性。
让大模型“跑”在手机里:vivo蓝心端侧部署创新揭秘,性能功耗双优!
在AICon2025上海站,vivo AI研究院工程师章苏迟分享蓝心大模型端侧部署方案。介绍端侧大模型优势及应用场景,阐述内存、性能、功耗等指标优化方法,还提及多业务场景应对策略与安全合规措施。