「推理服务基础设施」共找到 2949 篇相关文章
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
图灵奖得主杨立昆现场追问：AI 还没越过这 3 道认知墙，谈什么通用智能？
图灵奖得主杨立昆指出AI未越过三道认知墙，即看不懂物理世界、无长时记忆、无推理结构，提出JEPA架构及AMI概念，还建议别卷模型，应卷架构，如探索具身智能等领域。
天翼云息壤筑底AI：夯实基建，驱动智变｜甲子光年
文章指出AI普及需强大平台架构等作为底座，而当前基础设施迭代难满足需求。天翼云在峰会宣布全面升级息壤，聚焦三领域，从夯实技术、提升自主可控、培育生态三方面支撑千行百业转型。
更聪明的AI就能随心所欲控制人类？OpenAI科学家笑了：你比猴子聪明，能让猴子听话吗？
本文是科技媒体The Information对OpenAI研究科学家Noam Brown的深度访谈，围绕AI Agent、推理模型、AI安全、OpenAI研发战略展开，披露了Hugging Face多Agent事件细节，分享了诸多反直觉的前沿技术观点，信息密度极高。
从亚百毫秒级启动到生产级部署，腾讯云为何重构 Agent 沙箱？
2026 年初，OpenClaw 掀起本地终端 Agent 热潮，但也带来安全风险，让 Agent 沙箱受关注。腾讯云 4 月开源 Cube Sandbox，InfoQ 采访金峰，了解其从 Serverless 到 Agent 沙箱过程及团队对下一代 Agent Infra 的判断。
Palantir活成了所有FDE羡慕的模样：被骂十年外包，股价一天暴涨29%
8月3日美股盘后，Palantir交出2026年二季报，业绩亮眼致次日股价涨29.45%。此前它被看空，因其交付方式被指像外包。但从财务看它利润率高，且业务增速快，不过高估值和国际业务仍存挑战。
刚刚，Kimi K3开源！3万亿模型权重全球开放
2026年7月27日，Moonshot AI开源全球首个3万亿参数级模型Kimi K3。它不仅参数量大，还在多领域表现出色，能与顶尖闭源模型媲美。其架构创新、训练独特、推理成本低，有望改变全球大模型格局。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。
Ben Thompson：Agent会下单之后，Amazon 和 Shopify 活得更好了
大家以为AI会重构电商，可ChatGPT的checkout功能未成功，Shopify、Amazon等电商平台仍活得好。分析师Michael Morton指出，AI改变产品发现入口，但难抹平支付等环节，品牌官网因AI获更多流量。