激活值内存」共找到 637 篇相关文章

算法论文8

一个模型千万个灵魂!Anthropic找到了防止AI陷入疯狂的防线

Anthropic和牛津大学研究发现,大模型的AI助理角色易在长对话中漂移崩塌,致其陷入幻觉。研究解析助理轴,揭示模型人格定位,还提出激活上限技术,能在保能力的同时降低有害回复率。

AIGC开放社区
新闻资讯7

OpenAI 开源模型泄露:六大技术细节

OpenAI 可能发布的开源大模型细节泄露,包含两款模型,1200 亿参数 MoE 模型和 200 亿参数稠密模型,专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。

AI寒武纪
开源动态7

推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型

OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。

量子位
新闻资讯7

一杯咖啡,3亿美金!斯坦福天才少女退学创业,Meta AI大牛排队加入

2024年,斯坦福博士生Carina Hong与前Meta AI研究员交谈后,退学创办Axiom Math,目标打造「AI数学家」。公司首轮融资6400万美元后估3亿美元,吸引Meta等公司顶尖AI人才,虽面临竞争,但前景广泛。

新智元
新闻资讯7

AI代码审核平台Greptile正洽谈3000万美元融资

TechCrunch消息,AI代码审查初创公司Greptile正洽谈3000万美元A轮融资,估1.8亿美元。其由Dasksh Gupta创立,已获400万美元种子轮融资。代码审查领域竞争激烈,Greptile员工工作时长很长。

AIGC开放社区
推荐文章7

AI产业链投资大逻辑:第六集

本集聚焦AI产业链应用层悖论。应用层离用户近、故事性感,但现阶段易让投资者犯错。虽有诸多火热产品且公司估高,但‘创造价’与投资者‘以好价格买价’并非一回事。

newtype AI
产品应用7

比爆火的OpenClaw更王炸?这台百元神机,已经能让AI长出手脚帮你打工了

英伟达DGX Spark因内存供应紧张涨价,4万的成本让预算敏感者望而却步。阿里云无影个人云超算服务性价比高,按量付费百元左右。其AgentBay让AI获“手脚”,还具OpenClaw没有的能力。

AI寒武纪
新闻资讯8

一个大脑搞定所有模态,百度ERNIE 5.0技术报告公布

模型发布近3个月后,百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构,参数量万亿但推理激活参数不到3%,实现四种模态原生自回归统一,还在路由调度、训练范式等多方面有创新。

量子位
推荐文章7

AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤

文章以 PyTorch 手写数字识别代码为引,深入剖析深度神经网络训练的五大核心步骤,涵盖前向传播、计算损失、反向传播、更新参数和循环训练,还介绍激活函数、Dropout 等概念及正则化、优化器等技术。

阿里云开发者
开源动态8

刚开源仅3天狂揽4.9K star,轻量超高效版OpenClaw,10美元硬件就能跑!

OpenClaw火遍全网但硬件要求高、成本不菲。新开源的PicoClaw是其轻量替代方案,由Sipeed开发,内存占用少、启动快、成本低、便携性强,安装简单,功能多样,刚开源就成热议新星。

开源先锋