「阿里云函数计算」共找到 1294 篇相关文章
The Batch:836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量,但计算需求增加,成本上升使资源有限组织难复现结果,且新模型定价、按需分配推理token也让成本更复杂。
昨夜,全球AI 集体宕机!
昨夜全球互联网大崩溃,谷歌云服务故障致13项服务崩溃,AI服务全军覆没,OpenAI也受影响,三大云巨头同时宕机,连锁反应使多平台瘫痪。事件暴露互联网脆弱性,给人们敲响警钟。
微软再放LLM量化大招!原生4bit量化,成本暴减,性能几乎0损失
微软公布BitNet v2,性能几乎0损失,占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化,通过H - BitLinear模块处理异常通道,实验显示其在多方面表现优异。
图解Vllm V1系列4:加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入,详细分析DefaultModelLoader的工作步骤,包括初始化模型架构和实际加载权重,还给出各步骤代码及作用,为想操作load_model的人提供框架。
一文讲透程序编排的核心方式:从表达式语言到并行化实践
文章围绕程序编排展开,介绍单语句编排、类编排、流程编排、并行化编排等核心方式,分析多种编排框架特点及适用场景,还提及Lindorm泛时序数据解决方案,为开发者提供编排参考。
华为| 祭出FlashComm1,FlashComm2、FlashComm3,解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下,华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信,提升推理性能;FlashComm 2重构计算流程,提升推理速度;FlashComm 3实现多流并行,激增模型吞吐。
说一个反常识的真相,Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性,以阿里国际站RealReplicaBench评测集为例,介绍电商场景任务,发现多数模型成功率低,其他领域类似,呼吁厂商努力,作者也计划自跑评测更新排名。
押注Agent,林俊旸带着新公司杀回来了
前阿里Qwen负责人林俊旸创办Pragmatik Labs/语用科技,研究跨数字与物理世界的下一代agent。红杉中国、高榕创投领投,腾讯等跟投。其目标是用agent实现终极生产力,有独特技术底色与愿景。
杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。
清华系团队出手!一张 4090 即可「爆改」,1.3B小钢炮震撼开源
5月11日,清华系团队面壁智能联合多方开源端侧多模态大模型MiniCPM-V 4.6。它参数仅1.3B,性能超阿里、谷歌等同级对手,效率翻倍,还实现两项架构创新,适配主流开源生态,降低开发门槛。