「大模型效率」共找到 9790 篇相关文章
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
大模型Agent的核心还是prompt？ 目前有什么挑战？
文章指出大模型Agent核心并非Prompt，而是工程化架构设计、工作流编排与数据闭环。介绍Flow Engineering等概念及工具，分析规划、记忆、工具使用要点，还谈及开发面临的延迟、稳定等挑战，并给出应对建议。
腾讯15年资深后台工程师，转战大模型推理的抉择
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
Meta将推出闭源模型，并砸数千亿美元打造超算集群
Meta正在酝酿大转向，扎克伯格宣布砸数千亿美元建超算集群，还考虑将强大AI模型Behemoth从开源转闭源。此前Meta一直高举开源大旗，如今因模型内部表现不佳等因素动摇开源信仰。
AI应用如何落地政企？首先不要卷通用大模型
ISC.AI 2025大会显示智能体技术加速渗透产业。360政企AI业务与智能体深度绑定，其落地有三重逻辑：不追通用大模型，聚焦小场景；用“乐高式”工厂赋能；安全与AI深度融合是必选项。
养虾人狂吃国产模型！4.19万亿Token调用量激增34.9%超越美国
根据OpenRouter数据，上周中国大模型周调用总量飙升至4.19万亿Token，再度超越美国登顶全球。中国产品在全球大模型调用量Top 5中占三席，国产大模型受青睐，但在速度和价格方面仍待提升。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。
AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板
MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。
用 Docker 跑大模型训练，Unsloth 解决了环境配置难题
Unsloth AI 发布 Docker 镜像版本，解决本地训练大模型环境配置难题。拉镜像就能训练，依赖和示例 notebook 都打包好。使用简单，不过有暂不支持 Mac 系统等限制，单卡 NVIDIA GPU 场景较适用。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。