「零Token部署」共找到 1623 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
PaddleOCR3.0全面开源！文档解析PP-StructureV3：PDF秒变高质量结构化文件！
在大模型与RAG技术发展下，结构化数据愈发重要。飞桨团队打造PP - StructureV3并随PaddleOCR3.0全面开源，它能将文档精准转为结构化文件，有精度高、能力多等优势，还介绍了使用方式。
华为昇腾推理对决：开源vLLM vs 官方MindIE，数据说话「Qwen与DeepSeek推理实测」
文章围绕华为昇腾推理，对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型，分析不同场景性能。指出vLLM和MindIE各有优势，还强调构建国产AI推理生态需多要素，鼓励开源协作。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
从零开始200行python代码实现LLM
文章从传统思路出发，用Python实现极简大语言模型，介绍从零基础到Bigram模型的过程，包括词汇表、模型训练推理等内容，还讲解了PyTorch基础，最后实现pytorch版Bigram模型，后续将实现完整GPT。
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案，仅用0.1%训练数据实现大模型7倍压缩，保留99%精度。该成果登ICLR 2025 Spotlight，已加入昇腾ModelSlim工具包。
人工智能驱动的科研新范式及学科应用研究
文章指出AI驱动的科研新范式通过数据、算力、算法深度耦合嵌入科研全过程，引发多方面变革。总结其特征与演化方向，分析学科应用要求与成功案例，还提出我国推动AI科研应用的启示与建议。
百年黎曼猜想被Claude破了新纪录！是个未公开新模型
A社官宣未公开的Claude研究模型在黎曼猜想取得重大进展，将满足猜想的黎曼ζ函数零点比例下界从41.6%提高到67.2%。它靠60个智能体、3100万输出Token完成研究，几乎走完科研流程。
调高一档推理强度，成本可能翻几倍：大模型思考原理讲清楚
文章详细讲解推理强度原理，指出其不改模型，只改草稿长度。还说明模型多思考能提高答题准确率的原因，剖析贵和慢的原因，介绍三种控制形态，并给出判断推理强度档位的框架。
AI 产业终于等来了自己的“支付宝时刻”
本周支付宝发布面向 AI Agentic Commerce 的全栈支付解决方案。该方案含信任基座、收付引擎、AI 钱包助手和 Token Pay，解决支付安全、收付款及管控等问题，推动 AI 产业从工具走向商业循环。