低token高压缩」共找到 1714 篇相关文章

新闻资讯7

OpenAI 详解规模化延迟语音 AI 的 WebRTC 架构

OpenAI 介绍为全球规模延迟语音 AI 调整 WebRTC 架构,将传统媒体终结模型换为中继收发器架构,分离职责,避免复杂逻辑堆砌与转嫁。此架构为实时语音技术布局补充基础设施细节,对架构师有参考价值。

InfoQ
新闻资讯7

干掉 .md?兜里 Token 不够,没法和 Karpathy 共情

近日,围绕‘Markdown 是否已过时’讨论升温。Theo Browne 视频阐述‘HTML 优于 Markdown’五大理由并分享实操技巧,虽指出 HTML 有费 Token、版本控制差问题,但仍倾向用 HTML,不过也有开发者质疑。

InfoQ
推荐文章7

无限Token | 搭建一家Agent First公司(一)

作者从单兵模式转向搭建 Agent First 公司,认为无限 Token 是基础设施而非福利。介绍了 Agent First 工作方式,指出成本使人们不敢依赖 AI,给候选人配 Claude Max 降使用门槛,还分享工作流搭建实例。

AI产品黄叔
产品应用8

YOLO + OpenClaw 缺陷检测智能体,代码实战方案

文章介绍了YOLO + OpenClaw缺陷检测智能体代码实战方案。先指出实时检测延迟问题,提出离线自动化方案。接着讲训练YOLO模型、创建OpenClaw技能、配置自动化任务及企业微信集成,还对比了与人工质检效果。

机器学习AI算法工程
产品应用7

更省 Token 的国产 Codex:ZCode,加上 DeepSeek 更夯!

介绍国产 Codex 平替 ZCode,它有 100 万用户,能接 DeepSeek,模型选择开放,缓存命中率高省 Token,插件生态完善,还介绍了安装、接入方法及多种实用功能。

AI产品自由
推荐文章8

模型压缩与量化:让大模型走向轻量化落地

文章介绍模型压缩与量化技术,其能在保持性能时降大模型计算和存储需求,实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景,并探讨未来发展方向。

机器学习AI算法工程
产品应用8

DeepSeek 峰谷 Token 的开山鼻祖,原来是阿里这个桌面 Agent

文章介绍阿里桌面 Agent 工具 QoderWork,它是最早落地「峰谷 Token」的产品,晚上 Qwen3.7 - Max 模型 2 折。该工具功能丰富,能完成复杂任务,还把配置与使用分开,降使用门槛。

特工宇宙
算法论文7

延迟、高吞吐,LLM优化与高效推理引擎综述

LLM计算成本高,用户要延迟,企业要高吞吐。工程师开发优化技术,如动态批处理、KV缓存、模型量化。论文对比25款推理引擎,还探讨了多模态支持、手机端推理、新型架构支持等进化方向。

深度学习自然语言处理
推荐文章7

Token成本下降,订阅费却飞涨,AI公司怎么了?

文章指出,虽模型训练成本下降,但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境,如 Windsurf、Claude Code 等,还给出避免亏损的三条出路。

机器之心
新闻资讯8

OpenAI史上最快模型降临,每秒1000Token!代码从此「炸出来」

OpenAI发布GPT-5.3-Codex-Spark,它是专为实时编程设计的超高速模型,生成速度超每秒1000个token,联手Cerebras硬件,重写底座提升性能,在多项测试表现强,ChatGPT Pro用户可尝鲜。

新智元