Информационное Расстояние

Метрика или псевдометрика на совокупности распределений вероятностей, характеризующая "непохожесть" описываемых этими распределениями случайных явлений. Наиболее интересны И. p. r(P, Q), связанные с мерами информативности эксперимента в задаче различения Ри Qпо наблюдениям. В любой конкретной задаче статистик, обработав материалы наблюдений, должен сделать выводы о наблюденном явлении. Эти выводы не будут, вообще говоря, совершенно точными, поскольку исходы наблюдений случайны. Интуитивно понятно, что каждая выборка несет какое-то количество полезной информации, причем: А) при обработке информация может только теряться, Б) информация, доставляемая независимыми источниками, напр, независимыми выборками, суммируется. Таким образом, если ввести информативность эксперимента как среднее количество информации в наблюдении, то для информативности выполнены аксиомы А и Б. И хотя понятие информации остается интуитивным, иногда можно указать величину I, удовлетворяющую аксиомам А и Б, к-рая описывает асимптотику средней точ ности выводов в задаче с ростом числа наблюдений и к-рую потому естественно принять за информативность. Информативность может быть как числовой, так и матричной величиной. Важный пример — информационная матрица в задаче оценки параметра закона распределения. Согласно аксиоме Б, информативности складываются как квадраты длин (катетов), т. е. квадрат разумного И. р. должен обладать свойством аддитивности. Простейшие И. р.- расстояние по вариации: и расстояние в инвариантной римановой метрике Фишера: последним свойством не обладают и собственного статистич. смысла не имеют. По теории Неймана — Пирсона вся полезная информация о различении распределений вероятностей Р(dot )и Q(dw)на общем пространстве Q исходов w содержится в отношении правдоподобия или его логарифме определенном с точностью до значений на множестве исходов вероятности нуль. Математическое ожидание наз. (средней) информацией различения (по Кульбаку) в пользу Рпротив Q, а также относительной энтропией, информационным уклонением. Неотрицательная (может быть, бесконечная) величина I(P: Q )удовлетворяет аксиомам А и Б. Она характеризует точность одностороннего различения Рот Q, определяя максимальный порядок убывания вероятности bN ошибки второго рода (т. е. ошибочного принятия гипотезы Р, когда она неверна), при росте числа Nнезависимых наблюдений: при фиксированном уровне значимости — вероятности aN ошибки первого рода, Аналогичная величина I(Q: Р)определяет максимальный порядок убывания aN при Отношение "сходства", в частности "сходства" случайных явлений, не симметрично и, Как правило, I(P:Q)I(Q: Р). Геометрич. интерпретация I(P: Q )как половины квадрата несимметричного расстояния от Qдо Роказалась естественной в ряде вопросов статистики. Для такого И. р. неравенство треугольника неверно, но справедлив несимметричный аналог теоремы Пифагора:I(R:P) = I(R:Q) + I(Q:P), если Симметричная характеристика непохожести Ри Qвозникает при их минимаксном тестировании. Для оптимального теста С информационным уклонением связаны также нек-рые другие И. р. (см. [1], [2]). Для бесконечно близких Ри Qглавная часть информационного уклонения, равно как и квадрата любого разумного И. р., задается, с точностью до постоянного множителя с(I), квадратичной формой Фишера. Для информационного уклонения Лит.:[1] Кульбак С, Теория информации и статистика, пер. с англ., М., 1967; [2] Ченцов Н. Н., Статистические решающие правила и оптимальные выводы, М., 1972. Н. Н. Чепцов.