「按Token计费」共找到 896 篇相关文章
SDD-RIPER 团队落地指南：如何让整个团队在一周内跑通大模型编程
文章提供了 SDD - RIPER 团队落地方案，能让团队一周内跑通大模型编程，质量可控、效果可量化。阐述了推不动大模型编程的痛点及 SDD - RIPER 的解决办法，介绍了部署、实操流程和试点 SOP，还给出效果数据与常见问题解答。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
破解大模型「无效并行推理」：Parallel-Probe问世，并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe，通过 2D Probing 刻画并行推理动态，发现问题后提出控制算法，能降推理延迟 35.8%、总 token 成本 25.8%，还推出 SCOUT 测试床，代码和平台已开源。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
两次拿到陆奇投资，张浩然这次想用 Agencize AI 干掉所有工作流 Agent
Agencize AI 创始人张浩然认为，所有要求用户预先构建工作流的 Agent 都是错的。该产品让用户只需描述意图，就能完成自动化工作，为用户生成个性化软件，连接传统 SaaS 软件。其还谈到未来软件变革及产品壁垒等。
天下苦SaaS已久，企业级AI得靠「结果」说话
SaaS在AI时代问题凸显，推理成本高、交付质量不稳定。在此背景下，百融云创推出结果云Results Cloud，以RaaS模式提供全栈解决方案，解决AI落地难题，还呼吁共建智能体生态。
LightMem用3招重新设计了LLM的记忆，结果出乎意料
LLM在超长多轮对话中有上下文窗口有限、记忆系统昂贵的痛点。LightMem借鉴人类记忆机制，用三招重新设计LLM记忆，实验显示其准确率超基线，还降低token使用量、API调用和运行时间。
快手Klear团队提出CE-GPPO：通过梯度保留协调熵，解决强化学习中的熵不稳定问题
快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO，以「熵」为核心，提出梯度保留策略，重新利用裁剪外区间低概率 token 的梯度，实现策略熵的精细调控，解决强化学习中熵不稳定问题。
DPad: 扩散大语言模型的中庸之道，杜克大学陈怡然团队免训推理加速61倍
扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。