雷锋网AI科技评论编者按：当我们在讨论温度的时候，我们不会认为自己扔掉了大量的信息。如果我问某人外面有多热，他们开始列举各种空气粒子的位置和速度来说明，那我会赶紧走开。
现实是，作为人类，我们对“能提供充足信息”和“有用”之间的区别有着与生俱来的理解能力。我们会告诉别人外面很热，但不会说它的温度是38.94摄氏度，这样既不麻烦又能说明问题。这种删减和总结信息的行为是预测的本质，在本文中，我将解释如何定义、度量(近似)和利用这一过程来改进预测模型和人工智能(以及在预测天气这样的问题中给出正确的答案)。
图1
1.玻尔兹曼对熵的理解
没有什么比一个好的理论更实际的了。
-路德维希·玻尔兹曼
如果你熟悉熵的概念，你可能已经了解了其中一两个系统的定义(例如热力学熵，信息熵，等等)。不然的话，别人会告诉你它其实是一种“随机性”的衡量标准(定义随机性是另一个主题)。（雷锋网）
我认为熵的定义有很多种，所有这些定义描述的都很详细，在不同的情境中都多多少少有用(尽管我通常反对将其称为是一种“随机性”的衡量标准)。我最喜欢的定义之一，最早是在年左右由天才路德维希·玻尔兹曼(LudwigBoltzmann)提出的，现在通常被称为玻尔兹曼熵或是玻尔兹曼熵公式。
玻尔兹曼认为，熵与微观状态和宏观状态之间的关系直接相关。对于系统给定的任何宏观上的描述，如果能与更多的微观状态下的描述相结合，熵就会更高。这个理论最初提出的时候是用来描述容器中的气体例子的，在这个情境中会比较容易理解它的含义。
图2：摘要中增加了熵，并创建了方向性
在左侧，这个系统的微观状态被定义为：容器中所有气体粒子的速度、质量和位置(这是非常具体的描述)。相反，在右侧，将微观状态概括为温度，就产生了一种可能的宏观状态(这个描述就不那么具体了)。在宏观状态下有一些非常有趣的特性：它是不可逆的(你不能只根据温度这一个条件就对所有粒子进行完全描述)；它不那么复杂(信息少所以得到的结论也少)；但它仍然是准确的(容器真的是38.94摄氏度)；最重要的是，它不太具体(不止一个微观状态适合它)。
图3：给定的宏观状态将具有多个与其兼容的微观状态。
这就是玻尔兹曼熵的关键：每个宏观状态都有许多与之兼容的微观状态。定义温度的方式意味着显示在左侧(上图所示)的三个容器中的任何一个都会产生相同的温度。这种微观状态越多，熵就越大：“这个容器的温度为38.94°C”。
尽管温度这个条件很普遍，但它并不是玻尔兹曼熵唯一适用的方面。任何人与人之间的对话中都包含高熵语句，人们会仔细选择具有描述性的语句，同时也不会太过具体。例如，我可以将这篇文章的缩略图描述为“一副内容是蒙娜丽莎的剪贴画，可以重复使用”(它确实是这样的)。但是，假若你还没有看到这个特定的图像，那么这些微观状态中的任何一项都可能同样适合该宏观状态：
图4：所有这些都可以对应“一副内容是蒙娜丽莎的剪贴画，可以重复使用”。
经过这个例子的说明，很明显可以看到，熵可以出现在意想不到的地方，但到目前为止，我们还没有采取任何措施将其与AI或预测联系起来。在此之前，我们先来聊聊地图。
2.地图中存在的问题
“以猫为例，猫最好的物质模型是另一只猫，或者说最好是一只完全相同的猫。”
-NorbertWiener，科学哲学()
我们来做一个小小的思考实验。想象一下，我问你去多伦多那个奇怪的新加菲猫主题披萨店的路线，但我们俩都没有手机，我只有纸和笔。如果你知道怎么走，那你可能不会犹豫，你画出来的地图看起来会像是这样：
图5
对我们俩来说不好的一点的是，我很容易被搞糊涂。我必须继续询问：“北是哪边？”
你只能郁闷的叹口气并继续补充
图6：我想这些已经画的已经够多得了
你可能已经能看出来这是什么意思了，但我还在要求更为详细的说明。直到最后，你的地图看起来很可能会像这样：
图7：这是真正的餐厅
你为了让我了解清楚儿增加了很多的细节，但其实其中的绝大部分都是毫无意义的，地图的意图是引导我去吃美味的千层面披萨。事实上，如果我们继续这样下去，我们最终会意识到，一份最准确、最具描述性、最完整的觅食地图其实就是整个地区的一比一复制品，餐厅里面也坐满了急急忙忙吃东西顾不上说话的人。如果你要靠地图来导航，那地图里的信息需要比真实地区的信息少一些。如果这张地图和这个地方本身的熵值是一样的，那么对我来说没有任何帮助。
模型的实用价值介于完整的描述和抽象的草图之间。如果你不相信我，只需看看多伦多市的地图和多伦多的地铁图上显示的内容有什么不同：
图8：来自MapTO分析的地图
