变分互信息估计：解开机器学习中互信息难计算之谜

直接从“互信息很难算”这件事说起吧。做机器学习研究或者搞自监督表示学习的人大概率都被互信息这个概念折磨过。它理论上很漂亮能刻画两个变量之间共享的信息量但一旦落到实际数据上几乎没法直接算不知道联合分布后验分布通常也没解析式。于是就有了这么一类方法用一个参数化的模型去逼近互信息给互信息找一个可优化的下界也就是标题里说的 variational bounds of mutual information。这篇