算法论文8

CMU&NYU：用Epiplexity解释AI“智能”来源

深度学习自然语言处理2026-01-15

AI 摘要

CMU和NYU论文指出，经典信息论在AI有三大悖论，提出Epiplexity度量信息。实验显示困难任务让模型学到通用结构，启示我们重视合成数据、按Epiplexity选预训练数据，算力能将熵变价值。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

从Sigmoid到SwiGLU 读懂激活函数

本文系统梳理神经网络激活函数的发展历程，从传统普通激活到门控激活，讲解Sigmoid到SwiGLU各类激活的设计逻辑、优缺点与适用场景，帮助入门者理解设计思路

本文整理自The Verge《Decoder》播客对Cloudflare CEO的访谈，披露今年5月互联网自动化流量已超过人类流量，预测五年后将达千倍，讨论AI时代互联网新商业模式、内容付费、AI爬虫拦截等热点议题。

本文围绕企业自主训练专属大模型的行业趋势展开，指出当前大模型训练门槛高、工程成本大的痛点，介绍情感机器推出的PyTRIO训练平台，提出TaaS新范式，封装底层工程，开放训练API，降低训练门槛。

OpenAI官宣GPT - 6 Astra，自称‘世界上最聪明、对齐最好的模型’，总裁称迎来AGI时代。它成绩亮眼，能直接完成工作，达网络安全阈值，训练让AI深度参与，但价格较贵。