「推理服务基础设施」共找到 2941 篇相关文章
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
企业级 AI Agent 的终极王牌：从 0 到 1 带你理解 “本体论” 与 6 块核心“积木”。
文章指出大部分企业Agent项目因幻觉、跑偏等问题失败，引出基于“本体论”的企业“本体”工程。介绍企业AI困境、现有工程手段不足，阐述本体可补企业“语义层”及构建本体的6块核心“积木”。
GPT-5.3爆更前夜，全网都被一张图吓到！ChatGPT人格大赏
OpenAI华人研究员Joanne Jang一条推文引发ChatGPT生图玩法热潮，它能根据聊天记录生成反映‘待遇’的自画像。近期ChatGPT记忆功能优化，已向全球Pro和Plus用户推出。还有爆料称GPT - 5.3要来了。
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
一夜200万阅读，OpenAI神同步！这项测评框架让全球顶尖LLM全翻车
中国团队领衔全球24所高校机构发布评测LLMs for Science能力的论文，一夜阅读近200万，同一时间OpenAI也发文指出现有评测标准在AI for Science领域失灵。论文推出评测体系SDE，发现主流大模型在科学发现上短板明显。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记，解释接口和约束、kernel 关键路径等问题，还介绍 NVFP4 和 MX-Formats 量化原理、代码实现，以及 LightX2V 项目中的实际使用。
广电绝地反击！揭秘多彩新媒「不烧钱」的AI生存法则
传统广电行业面临生存危机，多彩新媒依托1100万IPTV用户，规划‘技术筑基－场景落地－生态协同’转型路径。战略聚焦三核心，技术结合外部能力分层搭建体系，场景围绕三维度落地，生态强调内外联动。
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，构建覆盖芯片底层至应用层的一栈式安全防护体系，有抗物理攻击强等五大亮点，能适配不同场景安全需求，完善产品布局。
一文看清AI、开源与商业的真正博弈，GOBI 2025圆满收官！
12月21日，GOBI 2025全球开源商业创新大会在北京举办。会上多位专家、学者围绕AI开源商业展开讨论。杜莹芬强调开源可持续需制度支撑；汪华称中国开发者迎AI开源创业黄金窗口；蒋涛梳理AI开源商业化新逻辑。