「信息瓶颈原则」共找到 1343 篇相关文章
“为了一个功能，需要再造一个Google！”Jeff Dean最新对话：TPU的诞生，与那些差点把服务器烧了的疯狂往事
在Google Cloud Next上，Jeff Dean和Amin Vahdat分享了Google算力帝国崛起秘史。从TPU诞生背景，到自研硬件血泪史，再到软硬件协同设计，还探讨了AI未来瓶颈，如能源、硬件等，以及代码编写现状。
香农与 Claude
本文介绍信息论之父Claude Elwood Shannon，他1948年发表论文创立信息论，发明“比特”概念，信息从此可精确测量等。他还造了杂耍机器、无用机器、会走迷宫的电子老鼠等。Anthropic用他名字命名产品Claude。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
用 AI Coding 工具生成 60 万字奇幻世界设定的实践记录
作者先尝试用 Python/C# 编排 LLM 调用生成小说世界设定，遇节点信息查看、输出形态等问题。后用 AI Coding CLI，经搭建骨架、基础层展开等阶段生成 60 万字奇幻世界设定，还基于此创作叙事。
arXiv变天：将脱离康奈尔大学独立，招聘CEO，网友：以后还能白嫖吗？
arXiv发布官方信息，将脱离康奈尔大学转型为独立非营利组织，还发布CEO招聘公告。它始建于1991年，在康奈尔经历从个人项目到机构基础设施的转型，现面临AI投稿井喷、审核困境和技术债务等挑战。
全球AI算力大战变天！十万卡算力集群爆表，国产IB真香？
大模型竞赛进入万卡、十万卡时代，网络取代算力成新瓶颈。过去RoCE因成本优势受青睐，但集群规模扩大后运维复杂。IB架构以其稳定性迎来价值重估，国产IB方案突破或改变技术路线选择。
裁4000人换来的AI全白搞？Salesforce悄悄改架构：用 “老技术”故障少还省钱，网友怒喊：CEO零遣散费滚蛋
Salesforce曾大举部署AI并裁员，宣称Agentforce能降本。但如今高管称不过度依赖大模型时运行更好，已引入基础自动化技术。其应用遇瓶颈，故障频发、成本高，还面临AI“漂移”等问题。
老外傻眼！明用英文提问，DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
L4大方向有了：理想自动驾驶团队，在全球AI顶会上揭幕新范式
在全球计算机视觉学术顶会 ICCV 2025 上，理想汽车自动驾驶高级算法专家詹锟发表演讲，阐述了‘从数据到训练’的系统化思路，提出将世界模型与强化学习闭环落地于量产自动驾驶系统的完整架构。