A Wrong Way to Do Cross-Validation

While this point may seem obvious to the reader, we have seen this blunder committed many times in published papers in top rank journals.

Side Note: Information Entropy, Cross-Entropy and KL Divergence

我们考虑一个事件 , 它发生的概率是 . 假设我们观测到事件 发生, 我们希望定义一个信息量 来衡量 " 发生了" 这件事给了我们多少信息.

1. 是关于 的递减函数. 如果事件发生概率高, 而且它发生了, 我们得到的信息应该比较少, 因为我们认为它确实容易发生, 这不稀奇.
2. 考虑另一个独立的事件 , 它发生的概率是 , 则 . 也就是说我们希望独立事件同时发生时提供的信息量应该是他们分别提供的信息量之和.

一次手磨咖啡体验

Last Updated on Jun 24, 2020

• 1. 制作手磨咖啡的流程
  • 手磨咖啡和机磨咖啡的区别
• 2. 研磨咖啡
• 3. 冲泡咖啡
• 4. 奶泡
  • 牛奶与奶泡
  • 意式浓缩咖啡机: 产生泡沫的同时加热
  • 打奶泡的关键
• 5. 品尝咖啡
  • 咖啡的风味

Bootstrap 失效的一个例子

假设 独立同分布, 服从 上的均匀分布. 则其似然函数为

由于 关于 单调递减, 故 的极大似然估计为 . 对一次观测 , 观测值为 , 这 个观测值决定的经验分布函数记为 . 考虑非参数重采样, 即随机变量 独立同分布, 服从经验分布 . 我们想要估计 , 其分布为