「流量调度」共找到 285 篇相关文章
我们都错怪GPT-5了,路由统一算力,免费用户也能创造收益
GPT - 5发布后,其路由架构备受关注。开源社区的Arch - Router类似其路由系统,能结合任务领域和动作制定策略。GPT - 5路由框架可平衡成本与性能,还能转化免费流量,未来想掌控用户与模型交互路径。
深度剖析将 Kafka 构建在 S3 上的技术挑战与最佳实践
文章基于AutoMQ深入剖析将Kafka构建在S3上的挑战与解法。探讨延迟、IOPS、缓存管理等问题,介绍AutoMQ应对策略,如用WAL+S3架构降低延迟、批处理数据减少请求等,还提及Kafka兼容性及跨区流量成本处理。
不止萌兔蹦迪!狸花猫竖中指,吃奶婴儿开飞机,魔性AI视频让人停不下来
AI正席卷短视频,从“兔子蹦床”到“婴儿开飞机”,魔性剧情吸睛又迷惑,背后是算法驱动的流量生意。虚假内容泛滥,4大YouTube频道已全面AI化,“AI垃圾”或已暗中攻占人类心智,是时候普及“AI防诈”知识了。
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率低,建议用Cooperative策略。
从诡异视频到假论文,AI正把互联网变成巨型「垃圾场」
AI生成的诡异视频在社交平台流行,如比基尼胖女人跳水、食物自相残“食”等,背后是流量逻辑和低成本创作。更严重的是,AI生成的低质量论文渗透到学术领域,危害知识纯粹性和科研公正性。
比RAG高出8.9%,百度TURA:让搜索引擎“动”起来的下一代AI Agent架构
现有检索增强生成(RAG)系统只能读取已索引的静态网页,无法满足用户需实时数据的问题。百度TURA用工具调用把RAG升级为动态交互,其核心分检索、规划、执行三步,已在百度亿级流量场景跑通。
大模型最难的AI Infra,用Vibe Coding搞定
Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」,存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法,并以 Agentic RL 中的资源调度系统为例验证其有效性,还介绍了相关团队和工具。
Tilelang-1: Introduction
文章围绕TileLang展开,指出高层框架抽象层次高,难以满足算法创新和精细控制需求。TileLang将数据流与调度解耦,在易用性和性能间取得平衡。通过实例展示其语法和编译流程,实验表明它在多任务上超越现有方法。
获NVIDIA致谢:悟空Agent的实践、复盘与迭代
本文以悟空Agent获NVIDIA致谢为切入点,介绍多智能体架构闭环及实战挑战,如上下文断流、调度失衡。还阐述架构设计、迭代优化、数据飞轮体系,指出AI infra存在安全隐患,强调安全融入业务的重要性。