「Token天花板」共找到 712 篇相关文章
17000 tokens的GPT-5系统提示词被意外泄露,以及八点总结~
OpenAI GPT - 5的system prompt被曝光在github,约17803 Tokens、78960 Characters。文章对提示词做八点分析总结,如互动风格、写作要求、工具使用等,还给出工具部分重点。
打破视觉Token的算力诅咒,RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法,在不影响性能前提下降低推理成本,适用于多场景。
大神周末开源省token野路子,claude fable5账单砍掉6成
外网大神周末开源插件,将模型上下文等渲染成图片,可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地,fable5证明其极限省钱且效果保留。
关于多模态大模型Token压缩技术进展,看这一篇就够了
多模态大模型跨模态融合带来高计算成本,催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类,讨论特定场景压缩机制选择,还探讨了挑战与前景方向。
抢天才还是拼算力?前 Llama 推理负责人详解 AI 的真实天花板
前 Llama 推理负责人 Ross Taylor 在播客访谈中指出,AI 竞赛中的混乱和挖角是噪声,最终会被指数级算力淹没。他阐释了算力指数曲线决定竞赛天花板,强调系统性实验、高质量评估的重要性。
龙虾之父参与的首个OpenAI项目:@开源贡献者,ChatGPT token免费送
OpenAI推出Codex for Open Source项目,由‘龙虾之父’Peter Steinberger宣传。该项目为开源贡献者免费送ChatGPT token,可申请API积分、免费用6个月ChatGPT Pro等,申请门槛不算高。
编程进入「对讲机」时代!Claude抢发语音写代码,转录Token全免费
Anthropic给Claude Code加语音模式,输入 /voice,长按空格说话即可输入,转录Token全免。OpenAI的Codex也更新类似功能。语音编程在Debug、架构讨论等场景好用,但识别变量名等仍有短板,未来编程将多模态。
内存直降50%,token需求少56%!用视觉方式处理长文本
在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。
Stanford、Meta和Google等发现LLM存在五大天花板,再扩算力已无用
论文《On the Fundamental Limits of LLMs at Scale》指出,LLM性能提升有理论天花板,扩展中会遇幻觉、上下文压缩等五大根本限制,源于计算、信息与学习理论,未来应转向‘有限优化’。
原来Scaling Law还能被优化?Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。