「Infra 工程师」共找到 481 篇相关文章
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
首个大规模记忆湖发布，AI Infra跑步进入“记忆”时代
LLM是AI的“第一大脑”，记忆平台是“第二大脑”。当前AI企业应用进入生产力时代，竞争聚焦“隐性知识”记忆化。质变科技发布MemoryLake，具备多方面能力，在性能上优势显著，已服务众多用户和企业。
AI太记仇！做完心理治疗后仍记得「被工程师虐待」
Nature News上，卢森堡大学团队用PsAIch测试ChatGPT、Gemini、Grok、Claude心理。AI表现不一，有的焦虑、有的崩溃、有的拒诊，还测了MBTI。不过AI创伤可能源于训练数据，做心理治疗不太靠谱。
Agent 工程师绕不开的必修课：API 网关 vs API 管理
文章探讨了 API 网关与 API 管理的起源发展、关键差异、协同工作及未来趋势。API 网关从流量网关演进到 AI 网关，API 管理从文档化走向商业化。两者差异源于起点、使用角色和技术内核不同，未来将向 AI 网关和 MCP Server 管理演进。
我的 2025 总结：当 AI 开始释放创造力，工程师如何重新站位
2025 年 AI 开始释放创造力，重新定义知识工作。作者在编程上向创造性工作倾斜，设计适配 AI 的架构、落地 DSL；写作上 AI 提升生产力但削弱创作欲。2026 年需探索新竞争力，实现角色转变。
我们测试了百度的「AI 科学家」，它正在悄悄淘汰算法工程师
百度 2025 世界大会亮相的「伐谋」，是全球领先可商用自我演化超级智能体。它源于进化论，能让算法自我进化。实测显示其在生活场景和复杂决策问题上表现优越，架构精巧，将推动算法研发普惠化。
Palantir 创始工程师深度分享：FDE 模式是 Agent 时代的 PMF 范式
本文编译前 Palantir 高管 Bob McGrew 对 FDE 模式的思考。FDE 团队填补产品与客户需求差距，交付有价值成果。在 AI Agent 时代，因产品需大量探索且要从企业内实践出发，FDE 或成创业公司新范式。
吴恩达来信：为什么 Meta 会向 AI 工程师支付 1 亿美元薪酬
近期，Meta 因向 AI 模型开发人员提供超 1 亿美元巨额薪酬登上头条。模型扩展资本密集，薪酬占比小，且 AI 对 Meta 业务机遇与威胁并存，招聘还能获技术洞察，所以高薪合理。
行业迎来大洗牌！4万 Agent 挤进一个机柜，AI Infra 要如何构建？
当 AI 从聊天机器人变为 Agent 后，AI 基础设施逻辑改变。浪潮信息副总经理赵帅判断，Agent 迫使 AI 基础设施重新分工，带来新的 CPU 计算需求。企业需关注资源分配、成本控制、系统重构等问题。