搜索：运行时契约 - AI Reading Hub

「运行时契约」共找到 1177 篇相关文章

为什么 DeepSeek 大规模部署很便宜，本地很贵

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡，受批处理大小影响。还分析了不同模型需大批次的原因，如专家混合模型、大型管道模型等。

法国开源大模型平台Mistral AI发布一站式编程助手Mistral Code，旨在解决企业开发人员使用AI编码工具时的合规与安全障碍。它基于Continue开发，集成四个大模型，还能在私有代码库微调，获早期客户认可。

去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。

基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。

大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。

华为昇腾在部署超大规模MoE时推理性能创新高，全面超越英伟达Hopper架构。其采用‘以数学补物理’方式，还将全面开源。团队从多方面优化，在不同硬件上取得优异性能，本周还将举办技术披露周。

Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。

华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。

手握约1000项专利的再生元联合创始人乔治·扬科普洛斯，在AI制药成热点时选择逆行，坚持内部研发、人类遗传学和基础生物学。他批评跟风，强调深入理解疾病机制，认为AI可增效但不能决定方向。

GitHub上5.8万星的`taste-skill`仓库，无模型代码，仅用文本规则让AI编程工具输出更有品味。揭示AI默认给平庸答案是概率采样结果，还给出反中位数三问及AI时代变贵的是判断力。