编码性能」共找到 2241 篇相关文章

产品应用8

手机跑推理模型:Liquid AI发布仅需900MB内存的LFM2.5-1.2B-Thinking

Liquid AI发布LFM2.5 - 1.2B - Thinking推理模型,仅需900MB内存就能在手机运行。它专为简洁推理训练,性能提升明显,多数性能基准超Qwen3 - 1.7B,在多平台表现佳,还支持主流推理框架。

AI工程化
开源动态8

别再给AI送钱:10款开源工具省80%Claude Code Token,大项目直接砍49倍

使用Claude Code等AI编码工具常遇额度用完、账单超预期问题,80%钱浪费在冗余输出等。社区博主整理10款开源工具,适配主流AI编码工具,最高能将大项目Token消耗砍到1/49,还介绍省Token习惯及互助项目。

AI工程化
新闻资讯8

OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段

8月25日,OpenAI公布自研推理芯片Jalapeño性能测试结果,首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟,性能超英伟达芯片,B0版已进入制造阶段。

DeepTech深科技
新闻资讯7

AI 狂潮中,电子业破局:国产先进封装加速突围

AI应用渗透使算力需求结构重塑,传统芯片技术升级遇阻,先进封装技术成关键。文中介绍DeepSeek架构突破、DeepSeek - R1算法革新,分析其对算力需求的影响,指出高性能算力芯需求仍高,先进封装能释放芯片性能,国产有望突破。

芯师爷
产品应用8

阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现

阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。

阿里云开发者
算法论文7

谈一谈TP推理场景下MoE Group GEMM的优化思路

作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。

GiantPandaLLM
算法论文8

FlashAttention 完全进化史:FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开,从Attention性能瓶颈引出问题,阐述其各版本演进。FA-1实现算法突破,避免O(N²)内存;FA-2适配架构,提升性能;FA-3深度协同,实现异步;FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

GiantPandaLLM
8

库克清空弹夹!2nm,韬定律,最强AI电脑

库克退休前火力全开,苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra,塞进新款Mac。M6让Mac mini AI性能暴涨,M5 Ultra性能强悍,能跑大模型。但因内存短缺,高内存版限购且供货晚,价格也涨了。

量子位
开源动态7

阿里最新开源王炸Agent!性能全面SOTA!

阿里WebAgent更新频繁,基本一月一版。它是类似DeepResearch的通用智能体,历经WebWalker到WebWatcher多阶段演进,各阶段解决不同问题,如网页导航、自主信息搜集等,还不断优化训练数据生成与处理方式。

探索AGI
推荐文章8

Agent性能暴涨90%,刷榜GAIA可太容易了~

今年AI Agent层出不穷,当前研究缺乏统一标准、复现难。oppo Agent团队分享构建高效Agent的关键组件及刷榜GAIA的方法,从事实获取能力和逻辑推理保真度两维度分析,介绍了强化感知和提升思维的策略。

探索AGI