「架构优化」共找到 2834 篇相关文章
Harness Engineering: C 端 AIGC 内容生产自优化实践
文章介绍蚂蚁保保险快查深度解读页面生成系统（DIPG），它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式，解决LLM实时生成时延和质量问题，还阐述多Agent协作、校验机制及回灌流程等。
AI基础架构重大突破，计算成本暴降38倍
Perforated AI团队搞出‘穿孔反向传播’技术，给旧神经元加‘人工树突’。测试中计算成本最高降38倍，模型准确率不降反升，还近乎即插即用。这或引发行业变革，但也面临验证、生态和收费等挑战。
Kimi K2里找到了DeepSeek V3架构
Kimi新模型K2热度高，在多benchmark上达SOTA，网友好评多。Kimi工程师透露K2开源原因，还谈及Kimi发展策略。实测显示K2在前端制作、工具调用、创意写作上表现出色。此外，OpenAI开源模型推迟，引发猜测。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
3D-AIGC 存储架构演进：从 NFS、Gluster 到 JuiceFS
光影焕像在 3D-AIGC 存储上，因三维模型数据量大、格式多，对存储要求高。经探索，从 NFS、GlusterFS 到最终选 JuiceFS，搭建统一存储平台，管理上亿文件，提升处理速度，简化运维。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Anthropic官方解密：3招上下文优化，破解Agent性能暴跌
本文是Anthropic官方文章翻译，从提示词工程拓展到上下文工程，阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成，还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。
扩散架构 or「NoThinking」，AI 对话的「1Hz 壁垒」如何突破？
当红通用人形机器人公司 1X 的 AI 副总裁 Eric Jang 提出「智能频谱」概念，阐述当前 AI 面临的「1Hz 壁垒」及实现「Ultra Instinct」能力的先决条件。不同推理方案有望解决部分问题，但通用智能体仍有瓶颈。
企业数字化转型新引擎：MCP + LLM + Agent 架构赋能！
本文介绍MCP（Model Context Protocol）模型上下文协议，它是Anthropic于2024年11月底推出的开放标准，可统一大模型与外部数据源和工具通信协议，打破数据孤岛，有诸多优势，还适用于多个场景。
刚刚，OpenAI Astra核心架构爆出：大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法，该技术能降本提效，但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题，并给出Scaling Law。