我们考虑一个事件 , 它发生的概率是 . 假设我们观测到事件 发生, 我们希望定义一个信息量 来衡量 " 发生了" 这件事给了我们多少信息.
是关于 的递减函数. 如果事件发生概率高, 而且它发生了, 我们得到的信息应该比较少, 因为我们认为它确实容易发生, 这不稀奇. 考虑另一个独立的事件 , 它发生的概率是 , 则 . 也就是说我们希望独立事件同时发生时提供的信息量应该是他们分别提供的信息量之和.
Nov 30, 2019
Side Note: Information Entropy, Cross-Entropy and KL Divergence
Nov 21, 2019
Nov 8, 2019
Bootstrap 失效的一个例子
假设 独立同分布, 服从 上的均匀分布. 则其似然函数为
由于 关于 单调递减, 故 的极大似然估计为 . 对一次观测 , 观测值为 , 这 个观测值决定的经验分布函数记为 . 考虑非参数重采样, 即随机变量 独立同分布, 服从经验分布 . 我们想要估计 , 其分布为
Subscribe to:
Posts (Atom)