「当下的力量」共找到 10624 篇相关文章
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
CNBC:马斯克的xAI悄悄放弃了「公益公司」身份
马斯克旗下xAI在起诉OpenAI违背「非营利」承诺时,悄悄放弃公益企业法律身份。8月14日其移除章程中「考虑社会公共利益」条款,引发对其商业意图质疑。
欢迎 GPT OSS —— 来自 OpenAI 的全新开放模型家族!
OpenAI推出GPT OSS开放模型家族,含117B参数的gpt‑oss‑120b和21B参数的gpt‑oss‑20b。采用Apache 2.0许可证,资源占用低、推理快,适多场景,已接入Hugging Face服务,还介绍了推理、部署等内容。
2025 的企业 AI 市场, Data &AI 占据主流视野
数据是 AI 模型学习和训练的基础,Data & AI 基础设施可打通数据与 AI 全链路。企业应用 AI 不应只关注算法和算力,还需重视私域数据。同时介绍了不同类型企业在 Data & AI 领域的特点及合作成本等内容。
记录下SGLang 开发,编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法,还介绍让SGLang无视版本运行以定位bug的方法。
突发!你关注的AI博主被「焦点访谈」报道了!
AI博主花叔上了央视《焦点访谈》,他曾靠AI coding能力做出付费榜第一的App。时隔一年多再次被报道,他认为是时代需要这个故事。此外,他的开源项目「女娲.skll」已突破20000+stars。
交大&华为联手:AI智能体进化的五种关键能力
随着大型语言模型兴起,基于LLM的聊天机器人能完成多样语言任务。上海交通大学和华为团队提出分析框架,探讨LLM聊天机器人向AI智能体进化的五个关键维度、改进方法及未来发展方向。
AI Infra进阶:如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略,因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响,给出vLLM实现Batch Invariance的方法。
刚刚,Cursor分享了他们使用Agent Coding 的最佳实践
Cursor分享了使用Agent Coding的最佳实践。编码Agent正改变软件构建方式,需理解其工作原理并形成新使用范式,文中还介绍了规划、管理上下文、扩展Agent等多方面的操作方法与策略。
Ilya、小扎之后,苏莱曼的「超级智能」进入7年倒计时!
主流AI公司从谈AGI转向「超级智能」。微软AI CEO苏莱曼宣布成立MAI超级智能团队,他定义的超级智能是人本主义的,重点布局三个领域,还面临安全可控等挑战,微软有7年窗口期。