「Token向量化」共找到 1436 篇相关文章
无损加速视觉语言模型推理！轻松剪掉视觉冗余Token｜腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
刚刚，英伟达祭出下一代GPU！狂飙百万token巨兽，投1亿爆赚50亿
昨天，英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型推理带入「百万Token时代」。它性能强大，能带来高回报，可重写推理经济，还将得到英伟达全栈AI生态支持，预计2026年底可用。
警报拉满，10k star , QuantDinger，赚钱可能就是这么简单！！！！
量化交易常存在研究、策略、回测和实盘间“失忆”问题。QuantDinger将量化流程形成闭环，是Open - source AI Trading OS，有研究、策略管理等四大核心能力，介绍了使用方法、适用人群。
16岁炒马斯克鱿鱼，SpaceX天才转投北大数学校友赵鹏麾下
16岁天才Kairan Quazi从SpaceX离职，入职全球顶尖量化交易公司Citadel Securities。他曾14岁毕业于圣克拉拉大学，被马斯克选中加入SpaceX。他表示量化金融反馈快、结果直观，且新公司欣赏他的非传统背景。
30天烧掉60万亿，扎克伯格没进前250：大厂AI沦为KPI游戏
亚马逊、Meta等大厂流行用token摸鱼，员工为拉高榜单数字让AI跑不必要任务。Jellyfish数据显示烧10倍token仅换来2倍产出，成本飙升。这既扭曲生产力，又为资本开支背书。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
京东发布业界首个/开源/高完成度/轻量化「通用AI智能体产品」。
京东跨界推出业界首个开源高完成度轻量化通用智能体产品JoyAgent - JDGenie。它开箱即用、轻量可自部署，内置多种子智能体与工具，还给出二次开发示例，有多层次多模式思维等创新点。
逼AI当山顶洞人！Claude防话痨插件爆火，网友：受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火，冲破2w星。它核心是条prompt，删掉冠词等废话，号称省75%输出token。但它不压缩模型后台推理token，真实成本节省存疑。