向量化内存访问」共找到 506 篇相关文章

新闻资讯7

市值冲上2036亿港元!这家芯片“隐形冠军”在港交所敲钟了

2月9日,澜起科技于港交所主板正式挂牌上市,上市首日市值达约2036.69亿港元。它由杨崇和等创立,专注内存接口芯片领域,技术领先,业绩受技术与产业周期影响,嵌入全球AI基础设施核心供应链。

芯师爷
开源动态8

叶子豪、陈天奇等人开源项目FlashInfer入选,MLSys2025最佳论文奖公布

近日,MLSys 2025公布最佳论文奖,FlashInfer等入选。FlashInfer由多机构合作发起,是灵活的LLM推理内核库,优化内存访问、有可定制模板和调度机制,性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。

机器之心
产品应用7

消费级显卡跑大模型训练门槛再降:Qwen3-1.7B强化学习只需5GB显存

消费级显卡跑大模型训练门槛再降,Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作,有推理优势,还在内存优化等方面表现出色。

AI工程化
开源动态8

百度0.9B参数模型登顶全球第一,聊聊PaddleOCR-VL背后的技术细节

百度PaddleOCR-VL模型仅0.9B参数,在OmniDocBench V1.5榜单获92.6分全球第一,在多能力维度达业界最佳,能处理109种语言。其采用两阶段架构,结合优质训练数据,实现高性能与低内存、快速度的平衡。

AIGC开放社区
算法论文8

VLM 实现 10%的精度提高,13.1倍加速!纽约大学新算法让视觉语言模型更小、更快、更准确

纽约大学研究团队用QSVD新方法让视觉语言模型(VLM)效率飞跃,在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理,设计秩分配策略,引入量化方案,经多模型评估,展现出低硬件成本、高精度优势。

AIGC开放社区
开源动态8

腾讯开源Cube Sandbox:60毫秒冷启动的AI沙盒运行时

Harness设计中沙箱是重点难点,传统方案在安全与性能间妥协。腾讯开源Cube Sandbox,用RustVMM重构虚拟化层,冷启动60毫秒,单实例5MB内存开销,有真内核隔离等优势,开源版本含网络隔离组件。

AI工程化
新闻资讯8

一年拿下三轮融资!影目INMO正在鼻梁上“复刻”一个AI手机

影目INMO在一年拿下三轮融资,近5亿资金到位。其产品INMO GO3等表现出色,首发预订量可观。该公司专注轻量化一体式AI+AR眼镜,结合自研系统与智谱大模型,还拓展线下渠道,全球化布局也在推进。

量子位
产品应用7

当AI从云端“下沉”,Arm如何赋能端侧

端侧AI发展近十年,已进入应用快速拓展期,成为推动消费电子革新重要力量,但面临视觉处理、内存平衡和应用迭代等挑战。Arm推出相关平台与技术,如SME2,提升AI性能与能效,还与厂商合作,持续创新赋能端侧。

芯师爷
产品应用7

Anthropic 突发 Sonnet 5,但大家更期待 Fable 5 和 Mythos 5 明天解禁

昨夜凌晨,Anthropic 突然推出 Claude Sonnet 5,自封“性价比之王”。它重点提升计划制定等能力,价格更低,安全性能提升,但网络安全能力弱于 Opus 4.8 和 Mythos 5。不过用户反馈平淡,Anthropic 面临高端模型受阻和访问控制争议等问题。

InfoQ
新闻资讯8

OpenAI发布ChatGPT世代首个开源模型gpt-oss,4060Ti都能跑得动。

8月6日晚,OpenAI发布ChatGPT世代首个开源模型GPT - oss,有120B和20B两款。模型原生支持4 - bit量化,性能损失小,低配置显卡也能运行。跑分表现不错,还介绍了使用途径,虽有不足但改变开源社区格局。

数字生命卡兹克