「激活值内存」共找到 637 篇相关文章
一个模型千万个灵魂!Anthropic找到了防止AI陷入疯狂的防线
Anthropic和牛津大学研究发现,大模型的AI助理角色易在长对话中漂移崩塌,致其陷入幻觉。研究解析助理轴,揭示模型人格定位,还提出激活上限技术,能在保能力的同时降低有害回复率。
OpenAI 开源模型泄露:六大技术细节
OpenAI 可能发布的开源大模型细节泄露,包含两款模型,1200 亿参数 MoE 模型和 200 亿参数稠密模型,专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
推理成本骤降75%!gpt-oss用新数据类型实现4倍推理速度,80GB显卡能跑1200亿参数大模型
OpenAI在gpt - oss开源模型采用MXFP4数据类型,使推理成本降75%,内存占用为BF16模型四分之一,生成token速度提4倍,还能降低硬件资源需求。不过MXFP4也有缺陷,英伟达推出NVFP4提升质量。
一杯咖啡,3亿美金!斯坦福天才少女退学创业,Meta AI大牛排队加入
2024年,斯坦福博士生Carina Hong与前Meta AI研究员交谈后,退学创办Axiom Math,目标打造「AI数学家」。公司首轮融资6400万美元后估值3亿美元,吸引Meta等公司顶尖AI人才,虽面临竞争,但前景广泛。
AI代码审核平台Greptile正洽谈3000万美元融资
TechCrunch消息,AI代码审查初创公司Greptile正洽谈3000万美元A轮融资,估值1.8亿美元。其由Dasksh Gupta创立,已获400万美元种子轮融资。代码审查领域竞争激烈,Greptile员工工作时长很长。
AI产业链投资大逻辑:第六集
本集聚焦AI产业链应用层悖论。应用层离用户近、故事性感,但现阶段易让投资者犯错。虽有诸多火热产品且公司估值高,但‘创造价值’与投资者‘以好价格买价值’并非一回事。
比爆火的OpenClaw更王炸?这台百元神机,已经能让AI长出手脚帮你打工了
英伟达DGX Spark因内存供应紧张涨价,4万的成本让预算敏感者望而却步。阿里云无影个人云超算服务性价比高,按量付费百元左右。其AgentBay让AI获“手脚”,还具OpenClaw没有的能力。
一个大脑搞定所有模态,百度ERNIE 5.0技术报告公布
模型发布近3个月后,百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构,参数量万亿但推理激活参数不到3%,实现四种模态原生自回归统一,还在路由调度、训练范式等多方面有创新。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引,深入剖析深度神经网络训练的五大核心步骤,涵盖前向传播、计算损失、反向传播、更新参数和循环训练,还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
刚开源仅3天狂揽4.9K star,轻量超高效版OpenClaw,10美元硬件就能跑!
OpenClaw火遍全网但硬件要求高、成本不菲。新开源的PicoClaw是其轻量替代方案,由Sipeed开发,内存占用少、启动快、成本低、便携性强,安装简单,功能多样,刚开源就成热议新星。