Než se podíváme, co termín relativní entropie vlastně znamená, poznamenejme nejdřív, že je znám též pod dalšími nejméně dvěma názvy – buď jako Kullback-Leiblerova divergence nebo prostě jen informační divergence.
Pro jeho pochopení je užitečná znalost matic profilu z vyhledávání vzorů v bioinformatice, konkrétně jejich podoba vážená modelem pozadí (tedy matice PWM), proto doporučuji si příslušnou kapitolu nejdříve zopakovat.
Ačkoli relativní entropie není míra v matematickém smyslu, používá se především pro vyjádření rozdílu („vzdálenosti“) mezi dvěma pravděpodobnostními rozděleními. Máme-li dvě distribuční funkce
..přičemž především platí: