「上下文token」共找到 1207 篇相关文章
从“暴力烧Token”到“系统工程”:OpenAI与华为的两条 AI 编程路径
文章对比OpenAI与华为的AI编程路径,指出模型中心派靠推高上下文窗口但有成本高、延迟大等问题;工具驱动派如Cursor和华为云码道重构IDE工具。码道将任务解耦,通过多技术实现性价比,还介绍了底层基石及其实测表现。
Claude 这个更新,让模型能力提升10%+!
Claude开放100万上下文长度更新,实际可用空间接近8倍提升。数据显示,上下文越长Claude与其他模型差距越大。API取消溢价,还更新图片/PDF上限、将Adaptive Thinking转正式版。
Gemini CLI 新升级:深度集成 VS Code,终于不用在终端和编辑器之间反复横跳了
Google发布Gemini CLI重要更新,实现与VS Code深度集成,从架构层面解决AI编程助手的上下文感知问题。新版本有工作区上下文感知和原生差异对比界面两个核心功能,还给出部署要求。
这一年,DeepSeek消耗14万亿Token,编程仅占1/10,超一半用于角色扮演?
a16z和OpenRouter基于100万亿token研究揭示LLM使用情况:开源模型占三成市场,编程任务成刚需,角色扮演是金矿。还提到‘玻璃鞋效应’影响用户留存,市场分层为‘高端闭源+性价比开源’双轨制。
RAE+VAE? 预训练表征助力扩散模型Tokenizer,加速像素压缩到语义提取
近期,RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE,结合 RAE 与 VAE,能加速模型收敛、提升生成质量,展示扩散模型 Tokenizer 演化方向。
无损加速视觉语言模型推理!轻松剪掉视觉冗余Token|腾讯AI Lab
多图像、长视频让大型视觉语言模型推理成本暴涨,成算力瓶颈。腾讯AI Lab联合CMU提出VScan,通过两阶段视觉token筛选机制,在几乎不损性能的前提下实现推理加速,且已在GitHub开源。
轻量级开源AI多智能体框架!智能路由+上下文管理,前后端接口支持!
随着多智能体系统成对话式AI新趋势,GitHub现轻量级高灵活性多AI智能体协调框架Agent - Squad,它能实现多智能体协作、路由和上下文共享,支持双语言,部署灵活,功能强大且安装友好。
ICML 2025 | M+框架来了,增加LLM隐空间记忆,不再受上下文窗口限制
本文提出M+长期隐空间记忆扩展框架,在MemoryLLM之上,将8B级模型有效记忆跨度从不到20k提升到160k+,显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题,为下一代语言模型提供支撑。
超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行,性能更优。
30天烧掉60万亿,扎克伯格没进前250:大厂AI沦为KPI游戏
亚马逊、Meta等大厂流行用token摸鱼,员工为拉高榜单数字让AI跑不必要任务。Jellyfish数据显示烧10倍token仅换来2倍产出,成本飙升。这既扭曲生产力,又为资本开支背书。