「AI推理加速」共找到 11290 篇相关文章

产品应用8

阿里云Tair KVCache仿真分析:高精度的计算和缓存模拟设计与实现

阿里云Tair KVCache团队推出Tair - KVCache - HiSim,这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能,支撑计算选型、存储规划和调度协同等决策,还介绍了其架构、组件、验证及性能评估等内容。

阿里云开发者
推荐文章8

高性能计算群星闪耀时

本文介绍了高性能计算(HPC)在大模型时代的重要性,以及清华高性能计算团队在HPC及相关领域的研究与实践。如郑纬民带领团队突破存储技术,陈文光、翟季冬等助力大模型训练,武永卫团队优化推理,张悠慧探索类脑计算。

芯师爷
新闻资讯7

疯了,A社IPO大饼画到30万亿美元!一个美国的GDP

华尔街日报爆料,Anthropic将告诉投资人其潜在收入机会超30万亿美元,已秘密递交IPO草案。该数字是标普1500里191家科技公司去年营收总和的12倍,算法是把AI能接手的工作全算进去。公司内部面试还筛人,很割裂。

新智元
产品应用8

阿里云 Tair 基于 3FS 工程化落地 KVCache:企业级部署、高可用运维与性能调优实践

本文介绍阿里云 Tair KVCache 团队与服务器研发存储软硬件结合团队对 3FS 的工程化升级实践。从性能、产品、运维维度优化,为高性能 KVCache 在企业级 AI 场景落地提供范式,还提及未来 3FS 产品化及服务器硬件升级方向。

阿里云开发者
新闻资讯7

飞轮“倒转”,灵巧手厂商困在夹缝里

2024年具身智能焦点转向灵巧手,初创公司遭上下游夹击。技术远未成熟价格战却已升级,投资者押注最AI、最像人手、最早量产。但智能不足、应用场景不明确,降本成唯一共识,行业陷入“降本缺规模”死循环。

AI科技评论
算法论文8

10步优化超越强化学习,仅需1条未标注数据!后训练强势破局

无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。

新智元
产品应用7

当Sora2遇上国产 Vidu Q2,国产参考生真的更香了!一手亲测

国庆假期Sora 2吸睛,其客串功能将它拉到“AI版抖音”高度。但Vidu去年9月就提出【参考生】视频功能,Vidu Q2已是第5个迭代版本。文章对Vidu Q2参考生视频和Sora 2从一致性、物理规律遵循、运镜等维度进行PK。

量子位
新闻资讯7

澜起科技:高速互连芯片巨头历史

文章讲述澜起科技发展历程。它从电视机顶盒芯片转型内存接口、高速互连芯片,虽历经政策冲击、做空危机、供应链压力与客户竞争等挑战,但凭借技术实力和研发投入,在行业中站稳脚跟,未来有望受益于AI算力需求升级。

芯师爷
产品应用8

Qwen3.8-Flash:全新架构,更强更稳更划算

本文介绍了 Qwen3.8-Flash 多模态 MoE 模型,它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级,降低训练与推理成本,即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。

千问大模型
新闻资讯7

Cyber天花板被打穿!AISI实测Mythos能力正以4.5月翻倍速冲向ASI

英国AI安全研究所(AISI)实测Anthropic的Mythos和OpenAI的GPT - 5.5,发现其网络攻防能力4.5个月就能翻倍,加速冲向ASI。Mythos在模拟企业内网32步渗透任务中表现出色,瓶颈在于Token而非智力。

新智元