如何通俗的解释交叉熵与相对熵？ 时间：2026-11-04 07:18:00 浏览：923次 交叉熵H(p,q)=-sum(p*logq)，表示用分布q模拟真实分布p所需的信息，可作为一种loss。相对熵又称KL距离，KL(p||q)=H(p,q)-H(p,p)，表示用分布q模拟真实分布p相比用p模拟p，所需的额外信息。KL>=0，当p==q时，取等。最小化KL距离，等价于最小化交叉熵，对应机器学习的一种目标。 标签：通俗,交叉,解释,数学,机器学习,信息论
