缓存架构」共找到 1924 篇相关文章

新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
开源动态8

Kimi K2.5登顶开源第一!15T数据训练秘籍公开,杨植麟剧透K3

Kimi K2.5登上Hugging Face热榜榜首,下载超5.3万。它主打Agent能力,成绩超GPT - 5.2等闭源模型,性价比高。官方技术报告公开其用15T数据训练,还搭载Agent Swarm架构,团队还剧透了Kimi K3。

量子位
开源动态8

单卡可跑18万原子!分子模拟的“规模焦虑”该终结了

至知创新研究院UBio团队发布的UBio-MolFM v1.5,是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升,实测中表现优于经典力场,架构、数据和训练都有创新,误差降45%,速度提8倍,现已开源。

量子位
产品应用8

GenAI 退烧后,这家企业正在用 “数据平台” 重构AI2B的底层逻辑

GenAI浪潮下,企业级AI落地难。矩阵起源举办新品发布会,其CEO王龙指出落地瓶颈已从大模型转向私域数据。该司推出MatrixOne和MatrixOne Intelligence,构建“数据智能飞轮”,MOI三层架构可打通数据到业务落地流程,还通过案例展现其解决实际痛点能力。

InfoQ
开源动态8

6.1B激活,三榜开源第一!蚂蚁·安诊儿医疗大模型发布

由浙江省卫生健康信息中心等联合研发的开源医疗语言模型AntAngelMed发布。它基于Ling - flash - 2.0,100B总参数仅激活6.1B达约40B密集模型性能,在多个权威医疗基准测评中居前列,采用三阶段训练流程,高效MoE架构

AIGC开放社区
推荐文章8

GPU-MODE Leaderboards之nvfp4_gemv代码阅读

文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开,先介绍问题及官方baseline,后详细解读rank1代码,含数据加载、线程模型等,还剖析核心计算函数,最后总结代码在缓存控制、数据格式等方面的调优亮点。

GiantPandaLLM
新闻资讯7

硅谷顶级团队闭门会,让Agent活下来的共识,95%的AI Agent都死了

旧金山AI技术大会上,企业大佬指出95%的AI Agent在生产环境中失败,活下来的5%符合5个共识,包括做好上下文选择系统、重视安全权限与用户信任、将记忆作为架构决策、多模型编排及合理运用对话与GUI等,还提及被低估的方向。

探索AGI
算法论文8

GUI智能体训练迎来新范式!半在线强化学习让7B模型媲美GPT-4o

浙江大学与通义实验室团队推出UI - S1,提出半在线强化学习训练范式。它融合离线与在线学习优势,用三项关键技术构建核心架构,新评测指标SOP更贴近真实表现,实验显示UI - S1 - 7B性能卓越,逼近GPT - 4o。

量子位
新闻资讯7

究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片

近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。

机器之心
开源动态8

又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同

27M小模型HRM由拒绝马斯克的00后王冠开发,超越o3 - mini - high和DeepSeek - R1,推理不靠思维链。它采用分层推理等五项核心技术,在多测试中表现出色,虽被指通用性不足,但有人看好其仿脑架构

量子位