「文本token」共找到 1062 篇相关文章
何恺明团队重磅新作:去掉VAE,无需Tokenizer,纯Transformer预测数据比预测噪声更高效
麻省理工学院何恺明团队发布颠覆性研究,指出主流扩散生成模型未做好去噪工作,回归洁净数据预测才是高维像素生成正解。团队设计实验验证观点,提出极简架构JiT,展现优越性能与扩展能力。
Apple发布新SOTA Manzano:混合Tokenizer破解多模态统一难题,理解与生成双翼齐飞
多模态AI前景广,但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型,用混合视觉标记器降低任务冲突,结构简单可扩展,在多基准测试达SoTA水平,还展示图像编辑潜力。
图生视频新玩法刷爆外网:图上画两笔就能动起来,终于告别文本提示
Higgsfield AI 是专注 AI 视频生成的初创公司,近期发布 Draw-to-Video 和 Product-to-Video 功能,前者画图形元素就能生成视频,后者可拖拽生成广告视频。它还常上新功能、集成热门模型,官网功能模板丰富。
Meta没做的,英伟达做了!全新架构吞吐量狂飙6倍,20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2,以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍,对标Qwen3 - 8B并在多任务中表现持平或更优,还开源模型及大部分预训练数据。
仅用1/9的token拿下SOTA,用LLM当知识路由:全新RAG框架DeepSieve
大语言模型遇「最新」或「垂直领域」知识易出错,传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器,四步筛选信息,实验精度高、成本低,消融实验明确各模块价值,还有救场案例。
LLM长文本内卷,谁是真英雄?告别跑分玄学,我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope,兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块,还提出LOOM - Bench应对评估成本制约。
TACL 综述 | 别只卷架构了——长文本模型的能力天花板,其实是数据决定的
该 TACL 综述首次从数据视角审视长上下文语言模型,指出长上下文能力本质是数据驱动。它建立分类体系,明确高质量长文数据条件,给出核心能力的数据配方与评估法,还整理数据集和基准,提出待解问题。
AI大厂系统提示词泄露:2.7万token里,藏着最好的提示工程课
GitHub上`system_prompts_leaks`仓库扒出Claude、GPT等AI系统提示词。这些提示词像事故档案,规则具体,其结构排序暴露优先级。普通使用者可借鉴,提升对AI提要求的质量。
Speech LLM 的下一个突破口:你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’,此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构,从输入端破局,仅用约1000小时数据就实现低‘模态代沟’,对多模态模型设计有启发。
OpenClaw逼出Claude最强反击!GUI操控电脑和真人无差别,网友:这得花多少token?
Claude Code升级Computer Use能力精准反击OpenClaw,基于GUI操作,像真人操控电脑。升级后无需API或CLI改造,能操控传统软件,还上线远程控制、定时任务功能,有安全分层设计。已向Claude Pro和Max用户开放。