「Token设计」共找到 1914 篇相关文章
准确回答视频细节!11B模型挑战视频理解「证据级」任务,开源可商用
近日,复旦大学邱锡鹏教授领衔的OpenMOSS团队联合模思智能开源11B参数的多模态视觉理解模型MOSS-VL。它能准确回答视频里可被验证的细节、时间、过程和空间关系,有六项证据级能力,架构设计独特,采用Apache2.0开源许可。
冲上热搜!美团大模型,靠「快」火了
国内外开发者亲测,美团新开源的LongCat - Flash - Chat模型速度超快,推理速度超每秒100个token。它来自美团LongCat - Flash系列,官网可直接用。该模型架构创新,训练方法高效,还做了专属和系统级优化,跑起来又快又便宜。
AI 写代码太烧钱了:Copilot、Claude 一起涨价,不如把程序员请回来?
GitHub与Anthropic几乎同时调整AI写代码收费模式,GitHub Copilot按使用量计费,Claude Code限制Opus模型访问。AI公司此前靠低价扩张,如今成本压力大,将成本转嫁到用户,而很多token被浪费,AI使用成本可能超程序员。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现,其中包含量化Kernel。文章关注此Kernel,介绍在B200上实现高性能Memory Bound Kernel的优化技术,如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
今年最难的机器人Demo,“机器人含量”为0
自变量发布全新灵巧操作系统TwinDex,后训练阶段真机遥操数据为0,机器人就能完成多项精细操作。该系统设计有灵巧性、一致性和可扩展性,降低了对真机遥操数据的依赖,使高质量数据与真机遥操的强绑定松动。
DeepSeek Harness规模化踩坑实录:耗时、成本、失败到底该怎么查
Agent 进入日常研发流程后,使用方关注耗时、Token 消耗和失败回溯。DeepSeek Harness(DSH)是开源 Agent 框架,腾讯云 Agent 可观测提供 DSH 采集插件,构成全景可观测方案,还介绍接入实践与其他能力。
让大模型上车:理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路,在相同延迟下降低端侧模型困惑度,压缩模型架构挑选时间。研究揭示缩放定律,打造硬件感知建模框架,找到精度与延迟最优解。
大模型的第一性原理:(三)信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论,提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理,还阐述大模型各阶段信息论原理、定向信息计算方法,对比Granger与Pearl因果。
函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜,发现遗忘源于模型激活带偏差新功能,非覆盖旧功能。还设计FVG训练法,保留并对齐函数向量,保护模型能力。相关论文被ICLR2025接收,代码开源。
The Batch: 948 | GLM 5.1:面向长时任务的能力提升
Z.ai将旗舰开源权重大语言模型升级为GLM - 5.1,可在单个任务自主运行八小时。它专为编程和智能体任务设计,有推理等特性,在多榜单表现佳,但推理和数学能力落后闭源模型,价格有提升。