「降本增效」共找到 587 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。
腾讯开源Cube Sandbox：60毫秒冷启动的AI沙盒运行时
Harness设计中沙箱是重点难点，传统方案在安全与性能间妥协。腾讯开源Cube Sandbox，用RustVMM重构虚拟化层，冷启动60毫秒，单实例5MB内存开销，有真内核隔离等优势，开源版本含网络隔离组件。
作业帮Flink On K8s落地实践
本文分享作业帮2025年Flink on k8s的探索与实践，包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题，阐述选型Flink K8s Operator模式的原因，还提及任务状态观测、环境资源成本等，分析核心问题并给出解决方案。
5张 H800 带来 20 FPS 高保真实时虚拟人生成
传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
SCPMA|清华大学 张宇飞团队：基于改进傅里叶神经算子的翼型流场快速预测模型
传统计算流体力学在工程场景计算成本高，深度学习方法预测精度与泛化性不佳。本研究基于傅里叶神经算子构建流场预测模型，经改进能精确预测超临界翼型流场与气动力系数，误差低且泛化能力优。
谷歌Gemini一次提示能耗≈看9秒电视，专家：别太信，有误导性
谷歌报告称处理一个中位数的Gemini文本提示能耗低，2024 - 2025年单个文本提示能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑其方法论，指出未算间接用水、碳排放核算不全等问题。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
“烂出”1.35亿票房？AI二创《牛来》也疯狂，网友都惊呆了
2026年夏天，影视黑马《牛来》在AI二创助力下火出圈，截至8月18日票房破2100万，猫眼预测达1.35亿。网友用AI将其做成解说视频、游戏等，虽AI版精致，但有人认为缺真诚感。