「推理部署」共找到 2654 篇相关文章
大模型虽好,但恕我直言:在OCR面前,开源小模型更香
作者所在公司项目需处理大量纸质文档,起初考虑云端大模型API调用和开源大模型本地化部署,却因成本高、硬件要求高受阻。后经推荐调研PaddleOCR,其功能全、成本低、易用性强,最终被选为项目核心方案。
GEO中,llms.txt是个啥?
GEO中llms.txt是新兴网络标准提案,分提案A(访问控制)和提案B(推理指导)。提案A类似robots.txt,控制内容用于模型训练;提案B是Markdown文件,助LLM理解网站。作者整理指南分享,盼业内出标准。
GPT-5编程专用版发布!独立连续编程7小时,简单任务提速10倍,VS Code就能用
OpenAI推出GPT-5-Codex特化版模型,支持独立连续编程7小时,有IDE插件版。新模型有“真·动态思考”能力,简单任务提速10倍,复杂任务推理更久。还重构了Codex产品体系,升级IDE扩展等。
智能体新范式Chain-of-Agents,多项任务新SOTA
论文提出Chain-of-Agents (CoA) 范式,结合多智能体系统与工具集成推理优势。通过多智能体蒸馏和智能体强化学习训练智能体基础模型(AFM),实验显示其在Web和Code任务上达新SOTA,效率、泛化性佳。
智谱终于发布GLM-4.5技术报告,从预训练到后训练,细节大公开
上个月底智谱开源 GLM-4.5 及轻量版,成绩亮眼引热议。现其技术报告发布,详述预训练到后训练细节,还介绍了开源 RL 框架 slime,展示模型架构、训练阶段等,评估了在多任务上的表现。
阿里AI 重磅第4发:电影级MOE 视频模型Wan2.2正式开源!
阿里通义团队开源电影级视频生成模型Wan2.2,将光影、色彩、镜头语言装进模型,支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型,推理省计算资源,性能超主流模型,获国外网友盛赞。
阿里开源电影级AI视频模型!MoE架构,5B版本消费级显卡可跑
阿里开源新一代视频生成模型通义万相Wan2.2,含文生视频等功能。它率先将MoE架构用于视频生成扩散模型,5B版本可在消费级显卡部署。对比前代和Sora表现更优,还推出电影级美学控制系统。
云计算一哥,刚刚重新定义了AI Agent的玩法
亚马逊云科技在纽约峰会上重新定义AI Agent部署方式,发布Amazon Bedrock AgentCore工具包,还推出Marketplace中的AI Agents和工具、Amazon Nova定制化功能等,在数据层和编程应用也有新动作,展现其AI Agent战略布局。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。