「Token入口争夺战」共找到 794 篇相关文章
训练提速5倍,响应缩短50%:动态自感知能力,重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余,传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力,通过三模块协作,实现推理“精准瘦身”,解决根本冲突。
性能比肩DeepSeek-R1,MiniMax仅花380万训出推理大模型性价比新王|开源
MiniMax开源推理大模型MiniMax - M1,原生支持100万token输入、8万输出,性能比肩DeepSeek - R1,仅花380万训成。采用Lightning Attention机制与CISPO算法,在多领域表现出色,模型权重可在HuggingFace下载。
图解Vllm V1系列4:加载模型权重(load_model)
文章聚焦vllm加载模型权重的流程。从入口函数切入,详细分析DefaultModelLoader的工作步骤,包括初始化模型架构和实际加载权重,还给出各步骤代码及作用,为想操作load_model的人提供框架。
1.5K Star!网页提取神器 webclaw:让 AI 精准抓取网页核心内容!
webclaw是专为AI工作流打造的高性能网页提取工具,能把网页转成适合大模型的内容。它有Token优化、极速响应等亮点,支持多种安装和使用方式,解决了传统抓取工具的痛点。
AIEC 2026:今天起,Agent开始成为企业里的「新员工」
AIEC 2026人工智能+生态大会在北京召开,聚焦AI从战略部署到产业实践。大会指出大模型发展风向已变,落地竞赛开启,未来AI将成企业员工,还探讨了Agent落地关键及人与AI关系等问题。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。
破解大模型「无效并行推理」:Parallel-Probe问世,并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe,通过 2D Probing 刻画并行推理动态,发现问题后提出控制算法,能降推理延迟 35.8%、总 token 成本 25.8%,还推出 SCOUT 测试床,代码和平台已开源。
从 Chat 到桌面 Agent:我在一台旧 Windows 上,看见了办公的未来
本文作者作为Mac老用户,为体验昆仑天工研发的Skywork桌面Agent,找来旧Windows电脑测试。该产品定位是接管电脑工作世界,解决办公任务处理和安全隐私问题,还介绍了其功能和使用效果。
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
大模型的第一性原理:(二)信号处理篇
本文从信号处理角度解读大模型原论文,探讨语义向量化原理,分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题,向量化与信号处理、信息论联系紧密。