算法论文7

白铂博士：用信息论解读大模型原理

机器之心2026-03-04

AI 摘要

白铂博士：将Shannon理论从以BIT为中心转换为以TOKEN为中心，可解释大模型底层原理。还阐述大模型训练和推理阶段信息论原理，对比Granger与Pearl因果，认为大模型当前多是数据驱动预测。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

阶跃发布首款Agent手机STEPX Neo

本文作者实测体验阶跃终端推出的首款大模型原生Agent手机STEPX Neo，介绍了产品设计、原生Agent系统能力、创客开发生态与系统级安全方案，公布了产品定价与用户福利。

本文报道Jeff Dean投资的AI初创公司推出DeepRSI新基准，测试大模型递归自我改进能力，设置48小时无网络自主科研挑战，最终Kimi K3拿下国产第一、开源第一，成果引发行业关注。

当前大模型效率优化多聚焦降低单位Token计算存储开销，本文解读arXiv新预印论文，针对传统BPE分词的固有局限，提出CNF-MCE分词框架，可大幅提升Token压缩率，开辟大模型效率优化新路径。

本文爆料Anthropic风控动态，上半年封禁1140万疑似数据蒸馏账号，申诉胜诉率仅10%，大量正常用户被误杀，同时对比了中外大模型的使用体验差距。