「激活值内存」共找到 637 篇相关文章
小白必读：到底什么是FP32、FP16、INT8？
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提，不同格式在精度、范围、内存占用和计算速度上有差异，还提及多精度与混合精度计算，以及不同硬件对格式的支持情况。
告别 260 亿美元的低效投入，HappyRobot 为物流业配置 “AI 调度员”
HappyRobot为物流市场搭建AI-native平台，切入“voice agent + 通信自动化”领域，打造“数字员工”。它能提升沟通效率、降低成本，已获6200万美元融资，还尝试拓展至其他行业。不过，也面临AI价值兑现不对称等潜在风险。
技术大神用纯Rust从零构建了LLM，在GitHub上大火
Python是AI界宠儿，Rust也因“内存安全、零成本抽象、无畏并发”受青睐。项目RustGPT用纯Rust从零构建LLM，在GitHub上火了。Rust弥补了C/C++和Python的不足，Rust社区LLM项目增多，巨头也在布局。
黄仁勋李飞飞林斌投了同一家机器人公司
Generalist是专注给机器人“造通用大脑”的AI公司，创立不久便多次融资，估值超20亿美元。其GEN - 1.5有强大泛化能力，演示一次就能上手，但也有很大进步空间，展示了未来通用机器人大脑学习方式。
实测 Seed 2.1：豆包基模超进化，国产模型能力跨过质变点
作者在做面向 Agent 项目时，因 Claude Code 内存开销大，需更轻方案。火山引擎 Force 大会发布 Seed - 2.1，作者实测其在办公、编程、图像理解等方面表现出色，认为它跨越质变点，将赋能国内 AI 生态圈。
鹅厂员工的“神之一手”代码都长什么样？
文章分享6位鹅厂同事的“神之一手”代码。有将快排浓缩到5行的Python代码，有解决逆序打印不可变链表的方案，还有修复订单状态同步漏洞、解决内存泄漏等代码，文末邀读者分享代码赢福利。
llya证词太狗血了！奥特曼坏，Mira茶，OpenAI差点跟Anthropic合并
最新披露的llya 52页证词，记录了当年奥特曼被“宫斗”的来龙去脉。奥特曼回应个人持股情况，称因热爱但也有点后悔。llya证词显示他和Mira曾密谋开除奥特曼，背后是OpenAI在营利和非营利间的摇摆，而OpenAI目标指向IPO。
成立7个月首发声！百亿美金独角兽万字雄文：攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果，揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法，还通过实验展示其效果及对同策略强化学习的意义。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
Anthropic最新研究：Claude存在神秘J空间，与人类心智高度相似
Anthropic研究团队在Claude中发现类似人类大脑工作机制的J空间，它存在于模型神经激活中，能让模型默默思考。失去J空间Claude在多步骤推理任务表现变差，还可暴露模型意图，团队已创建演示工具JLens。