「性能工程」共找到 2581 篇相关文章
多智能体在「燃烧」Token!Anthropic公开发现的一切
Anthropic发布多智能体研究系统构建解释,解决多智能体研究困惑。多智能体系统优势明显,在特定任务中表现出色,但token消耗大。其架构独特,还介绍了提示词工程、评估方法、面临的工程挑战等内容。
手机跑推理模型:Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking
Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型,仅需900MB内存就能在手机运行。它专为简洁推理训练,性能提升明显,多数性能基准超Qwen3 - 1.7B,在多平台表现佳,还支持主流推理框架。
马斯克开始用Grok替代员工了!最惨部门裁员90%
据The Information消息,马斯克用Grok取代X员工,负责信任与安全问题的工程团队从超100人裁至不足10人。他意图用AI替代人力、自动化替代传统工程,还推进“巨硬计划”,但也带来权责不对等、安全问题和业务受阻等风险。
企业落地 NL2SQL,需要的是 AI-ready data 和 小模型
当NL2SQL从Demo走向生产,关键是‘更干净的数据底座 + 更小的专用模型 + 更可控的工程化流程’。文章指出先数据后模型,小模型足够用且落地成本低,评估要换维度,还介绍了工程化路径等内容。
OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段
8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。
AI 狂潮中,电子业破局:国产先进封装加速突围
AI应用渗透使算力需求结构重塑,传统芯片技术升级遇阻,先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新,分析其对算力需求的影响,指出高性能算力芯需求仍高,先进封装能释放芯片性能,国产有望突破。
长上下文窗口、Agent崛起,RAG已死?
技术迭代下“RAG已死”论调出现,向量数据库Chroma创始人主张用上下文工程框架取代对“RAG”的狭义依赖。文章梳理业界不同观点,有人认为RAG在进化,有人称其成工程学科,也有人觉得会被Agent和长上下文取代。
阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。