「本地推理」共找到 2445 篇相关文章

推荐文章8

卡帕西点赞Transformer内置计算机!每秒3万Token吞吐,拿下世界最难数独

当前大模型推理顶尖但精确计算不足,Percepta团队在Transformer权重里内嵌可执行程序,通过2维注意力头设计提升推理效率,能在普通CPU上实现每秒3万+Token的流式输出,还精确求解了世界最难数独。

量子位
新闻资讯8

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

昨天,英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX,将大模型推理带入「百万Token时代」。它性能强大,能带来高回报,可重写推理经济,还将得到英伟达全栈AI生态支持,预计2026年底可用。

新智元
产品应用8

杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂

面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。

AI寒武纪
开源动态8

社区供稿丨Jina-VLM:可在笔记本上跑的多语言视觉小模型

Jina AI发布2.4B参数量的视觉语言模型Jina - VLM,在多语言视觉问答任务达SOTA。它引入注意力池化,连接视觉与语言基座,处理问答等任务,对硬件要求低,多项测试表现优,还介绍架构、训练策略和上手方式。

Hugging Face
开源动态8

第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力

新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。

新智元
新闻资讯7

究竟会花落谁家?DeepSeek最新大模型瞄准了下一代国产AI芯片

近期,DeepSeek发布V3.1新模型,采用全新混合推理架构,在多任务表现上有提升。它采用UE8M0 FP8,或为国产推理芯片优化机制。国内多家厂商新一代AI芯片支持FP8,未来国产大模型或针对其专门优化。

机器之心
新闻资讯7

GPT-6.1 Terra 半价上线

OpenAI 发布中端模型 GPT-6.1 Terra,标准 API 输入每百万 token 1 美元、输出 5 美元,较上一代降价 50%。

机器学习算法那些事
新闻资讯6

千亿AI Infra独角兽诞生!三个00后创办,英伟达参投

为前沿模型提供训练数据与评测服务的 Mercor 获 7.5 亿美元 D 轮融资,英伟达等参投,估值达 200 亿美元。该公司年化收入已突破 20 亿美元,OpenAI 为其客户。

智东西
开源动态8

Claude Design开源版本来了!支持超过 71 套最顶级的品牌设计系统,可以直接复刻,构建属于你的顶级网页!

Anthropic的Claude Design闭源,Open Design是其开源替代品。它支持超71套顶级品牌设计系统,可直接复刻构建网页,还支持多种coding agent,有完整提问机制,确保产出符合需求。

GitHubStore
开源动态8

一键检测你的电脑能跑哪些大模型,这项目6!

介绍工具`LLMFit`,它用Rust编写,能自动检测硬件配置,判断大模型能否流畅运行,还可推荐最优量化版本和运行模式。该项目在Github获5.9k+ star,有多种安装方式。

开源先锋