Непараметрические Методы Статистики

Методы математич. статистики, не предполагающие знания функционального вида генеральных распределений. Название "непараметрические методы" подчеркивает их отличие от классических — параметрических — методов, в к-рых предполагается, что генеральное распределение известно с точностью до конечного числа параметров, и к-рые позволяют по результатам наблюдений оценивать неизвестные значения этих параметров и проверять гипотезы относительно их значений. Пример. Пусть — две независимые выборки, извлеченные из совокупностей с непрерывными генеральными функциями распределения Fи G; и пусть проверяется гипотеза Н о о равенстве распределений Fи Gпротив альтернативы сдвига, т. е. гипотезы для всех tи нек-рого . В классич. варианте этой задачи предполагается, что функции распределения Fи Gнормальны, и для проверки рассматриваемой гипотезы используется Стъюдента критерий. При не-параметрич. постановке задачи о виде Fи Gне делается никаких предположений, кроме непрерывности. Типичным непараметрич. критерием для проверки гипотезы против является Вилкоксона критерий, основанный на сумме рангов элементов первой выборки в общем вариационном ряду. Гипотезу о равенстве распределений отвергают, если вычисленная по наблюдениям статистика критерия оказывается слишком большой или слишком малой. Статистика критерия Вилкоксона проста для вычислений, а ее распределение при Н о не зависит от F. Критич. значения, отвечающие заданному значимости уровню при небольших значениях ти п, находят по таблицам (см., напр., [1]); при больших ти п пользуются нормальной аппроксимацией. В ряде случаев важно не столько проверить гипотезу об отсутствии сдвига, сколько оценить этот сдвиг , к-рыи может интерпретироваться, напр., как изменение урожайности при смене способа обработки почвы или дополнительное время сна при применении снотворного. Оценка параметра посредством величины , к-рая вполне удовлетворительна в нормальном случае, является очень неустойчивой к отклонениям от нормальности и может даже не быть состоятельной. Гораздо лучшими свойствами в этом отношении обладает непараметрич. оценка (см. [2]): медиана набора чисел Эта оценка тесно связана с критерием Вилкоксона. Можно сказать, что она находится в том же отношении к оценке в каком критерий Вилкоксона находится к критерию Стьюдента. Несмотря на многообразие задач, решаемых с помощью непараметрич. методов, эти задачи можно условно разделить на две большие части: задачи проверки гипотез и задачи оценки неизвестных распределений и параметров, к-рые понимаются как нек-рые функционалы от этих распределений. Непараметрич. проверка статистич. гипотез — наиболее развитая часть Н. м. с. Требуется построить процедуру (критерий), позволяющую принять или отвергнуть проверяемую гипотезу при заданной альтернативе. Типичным примером является проверка согласия, другими важными для приложений примерами являются проверка симметрии, независимости и случайности. Задача проверки согласия состоит в том, что по выборке из совокупности с генеральной функцией распределения требуется проверить гипотезу о том, что , где — заданная непрерывная функция распределения. Непараметрич. характер задачи проявляется здесь в непараметричности альтернативы, к-рая может быть сформулирована, напр., в одностороннем варианте: или , либо в двустороннем:. Задача проверки симметрии заключается в проверке симметрии генеральной функции распределения Gотносительно заданной точки , т. е. равенства В качестве альтернатив могут выступать односторонние условия со строгим неравенством хотя бы для одного tлибо двустороннее условие того же типа. Задача проверки независимости возникает в тех случаях, когда необходимо проверить, являются ли независимыми два признака, наблюдаемые у одного и того же объекта, по независимым наблюдениям над такими объектами. Сходным образом формулируется и гипотеза случайности, когда предполагается, что элементы выборки — независимые и одинаково распределенные величины. Наряду с альтернативами общего вида встречаются случаи, когда оказывается возможным указать, чем именно будут отличаться распределения элементов выборки при альтернативе; так возникают, напр., альтернативы тренда и регрессии. Способы алгоритмич. построения непараметрич. процедур с заданными свойствами разработаны пока недостаточно, и большую роль в выборе подходящей процедуры играют обычно интуиция и эвристич. соображения. На этом пути накоплено большое количество способов и приемов решения часто встречающихся непараметрич. задач (см. [3]). Большая группа непараметрич. критериев основана на использовании эмпирич. функции распределения. Пусть — эмпирич. функция распределения, построенная по выборке объема пиз совокупности с генеральной функцией распределения F. В силу теоремы Гливенко — Кантелли с вероятностью 1. Таким образом, эмпирическая и истинная функции распределения с вероятностью 1 неограниченно сближаются, и на мере их близости можно основывать критерии согласия с гипотезой об истинной функции распределения. Первыми критериями этого типа были Колмогорова критерий и Крамера- Мизеса критерий, предложенные в начале 30-х гг. 20 в. и основанные соответственно на статистиках и Следует отметить, что обе эти статистики имеют распределения, не зависящие от генеральной функции распределения F, если только последняя непрерывна. Их предельные распределения, найденные в середине 30-х гг. А. Н. Колмогоровым и Н. В. Смирновым, табулированы, что позволяет приближенно найти границу критич. области, отвечающей заданному уровню значимости (см. [1]). Предложено и изучено много вариантов критериев согласия, основанных на разности и , напр. Реньи критерий, критерии Андерсона — Дарлинга, Ватсона и др. (см. [4]). Для успешного их применения в случае больших выборок необходимо в первую очередь знать соответствующие предельные распределения. Последние могут быть найдены с помощью подхода, в соответствии с к-рым статистика критерия представляется в виде непрерывного функционала от эмпирич. процесса где — эмпирическая функция распределения, построенная по выборке объема nиз равномерного распределения на [0, 1]. Процесс слабо сходится в пространстве D[0,1] к нек-рому гауссовскому процессу, т. н. броуновскому мосту (см. [6]). Поэтому предельное распределение изучаемой статистики совпадает с распределением соответствующего функционала от броуновского моста, к-рое вычисляется с помощью стандартных методов. Существуют модификации статистик и , предназначенные для проверки гипотез о распределении в многомерном случае, а также для проверки гипотез независимости и симметрии. В этих случаях возникает ряд дополнительных трудностей. Напр., в многомерном случае все рассмотренные статистики теряют свойство универсальности (независимости от исходного распределения). Наиболее важен случай равномерного распределения на единичном кубе, поскольку выборку из многомерного распределения .можно тем или иным способом превратить в выборку из равномерного распределения. Однако ни точное, ни предельное распределения статистики Колмогорова неизвестны (1982) даже в этом простом случае. Сходные затруднения появляются и в том случае, когда проверяется не простая, а сложная гипотеза о распределении, т. е. если предполагается, что генеральная функция распределения имеет вид , где — неизвестный параметр, одномерный или многомерный. В этом случае естественно оценить по выборке, напр, посредством оценки максимального правдоподобия , и сравнивать с . Статистики и их разновидности можно построить, как и в случае простой гипотезы. Однако распределения этих статистик — как точные, так и предельные — оказываются снова зависящими от вида F, а во многих случаях — и от неизвестного истинного значения . Задача вычисления этих распределений трудна и точный вид их неизвестен, хотя для статистик типа в ряде случаев удается составить таблицы предельного распределения (см. [5]). Для нек-рых других статистик известны процентные точки, вычисленные экспериментальным путем. Наряду с рассмотренными выше критериями согласия строятся их двухвыборочные и многовыборочные аналоги, к-рые могут использоваться как для проверки согласия, так и для проверки однородности нескольких выборок (см. Смирнова критерии). Общим свойством критериев согласия и однородности, основанных на эмпирич. функции распределения, является состоятельность против любых альтернатив. Однако выбор той или иной статистики в практич. задаче затруднен недостаточной изученностью их мощностных свойств. При больших объемах выборок можно опираться на значения асимптотич. относительной эффективности (АОЭ) по Питмену, вычисленные для ряда наиболее простых статистик (см. [7]). Другую группу непараметрич. критериев образуют ранговые критерии. Наиболее раннее использование рангового критерия знаков встречается у Дж. Арбетнотта (J. Arbuthnolt, 1710), к-рый использовал его при анализе статистич. данных о рождаемости мальчиков и девочек для получения "аргументов в пользу божественного провидения". Однако современный период развития ранговых критериев начинается в кон. 30-х гг. 20 в. После опубликования в 1945 работы Ф. Вилкоксона (F. Wilcoxon), в к-рой был предложен ранговый критерий, носящий его имя, ранговые методы вступают в период интенсивного развития. Использование ранговых процедур основано на следующем соображении. Поскольку вектор рангов вместе с вектором порядковых статистик содержит всю информацию, содержащуюся в выборке, то нек-рая доля этой информации содержится только в ранговом векторе. Поэтому можно строить статистич. процедуры, основываясь только на рангах и не используя знание самих выборочных значений. Преимуществом таких процедур является вычислительная простота, вытекающая из целочисленности рангов. Другой важной особенностью ранговых процедур является их применимость и в тех случаях, когда наблюдения носят не количественный, а качественный характер, лишь бы они допускали упорядочение, что особенно важно в исследованиях по социологии, психологии п медицине. Наконец, распределения ранговых статистик при основной гипотезе не зависят от генерального распределения, что позволяет раз и навсегда вычислить эти распределения. По мере развитпя ранговых методов выяснилось, что доля информации, содержащаяся в векторе рангов, может оказаться значительной, что обеспечивает этим процедурам высокую эффективность. В рассмотренном выше примере, связанном с проверкой однородности двух выборок, расширение области применимости критерия приводит к потере в мощности, и в нормальном случае критерий Стьюдента имеет большую мощность, нежели любой ранговый критерий. Однако при большом числе наблюдений критерий Вилкоксона мало проигрывает критерию Стьюдента. Оказывается, что в нормальном случае АОЭ критерия Вилкоксона по отношению к критерию Стьюдента равна Если же генеральное распределение отлично от нормального, то указанная АОЭ может быть сколь угодно большой, но никогда не опускается ниже значения 0,864 (см. [4]). Более того, существует ранговый критерий (т. н. критерий нормальных меток), АОЭ к-рого по отношению к критерию Стьюдента равна 1 в нормальном случае и превосходит 1 при любом отклонении от нормальности. Таким образом, этот критерий асимптотически оказывается предпочтительнее критерия Стьюдента. Другой пример связан с проверкой гипотезы симметрии. Пусть выборка извлечена из совокупности с генеральной плотностью и проверяется гипотеза о симметричности f относительно нуля снова при альтернативе сдвига. Наиболее простым критерием в этой задаче является знаков критерии, основанный на числе положительных значений среди . Знаково-ранговый критерий Вилкоксона основан на статистике — ранг элемента в вариационном ряду для . Статистика этого критерия использует не только информацию о знаках наблюдений, но и информацию о их величине. Поэтому можно рассчитывать, что критерий Вилкоксона окажется более эффективным, чем критерий знаков. Действительно, АОЭ этих критериев по отношению к критерию Стьюдента равна соответственно и (в нормальном случае). Таким образом, критерий Вилкоксона в 1,5 раза превосходит критерий знаков и мало уступает критерию Стьюдента. Еще один пример связан с проверкой гипотезы независимости. Пусть имеется ряд объектов, каждый из к-рых обладает двумя признаками, количественными или качественными (математические и музыкальные способности учащегося, цвет и спелость ягоды, и т. д.). Предполагается, что наблюдения над качественными признаками могут быть упорядочены. Требуется по пнезависимым наблюдениям над объектами проверить гипотезу о независимости признаков против, напр., альтернативы их положительной зависимости. Пусть и ранги признаков, соответствующие г-му наблюдению. Естественный критерий для проверки независимости основан на коэффициенте ранговой корреляции Спирмена , к-рый может быть вычислен по формуле Гипотеза независимости отвергается при больших, т. е. близких к 1, значениях . Критич. значения при малых пнаходят по таблицам, при больших ппользуются нормальной аппроксимацией. АОЭ критерия, основанного на , по отношению к критерию, основанному на выборочном коэффициенте корреляции, снова довольно высока и равна (см. [9]). Поскольку для проверки каждой непараметрич. гипотезы существует много ранговых критериев, предложенных часто из эврисгич. соображений, выбор критерия следует основывать на каких-либо соображениях оптимальности. Как известно, равномерно наиболее мощные критерии в классе всех возможных альтернатив редко существуют даже в параметрич. случае. Поэтому роль оптимальных ранговых критериев для конечных объемов выборок выполняют локально наиболее мощные критерии. Так, напр., критерий Вилкоксона является локально наиболее мощным в двухвыбо-рочной задаче проверки однородности против альтернативы сдвига для логистич. распределения с плотностью , а критерий нормальных меток — в той же задаче для нормального распределения. В асимптотич. теории для отражения свойства оптимальности используются те или иные понятия асимптотич. эффективности, причем локально наиболее мощные критерии обычно оказываются и асимптотически оптимальными (см. [8]). В теории ранговых критериев предполагают, что распределения наблюдений непрерывны, так что наблюдения могут быть упорядочены без совпадений, и ранговые статистики определяются однозначно. Однако на практике наблюдения всегда округляются, и поэтому совпадения будут иногда появляться. Наиболее употребительны следующие два способа преодоления этой трудности. Первый состоит в том, чтобы упорядочить совпавшие наблюдения случайным образом. При втором методе каждому из группы совпавших наблюдений приписывается средний ранг этой группы. Достоинства обоих методов исследованы пока недостаточно. Непараметрич. оценивание представляет собой раздел непараметрич. статистики, имеющий дело с задачами оценки неизвестных распределений или функционалов от них таких, как квантили, моменты, мода, энтропия, информация по Фишеру и т. д. Общепринятой оценкой неизвестной функции распределения является эмпирич. функция распределения. Сильная равномерная состоятельность ее как оценки неизвестной функции распределения следует из теоремы Гливенко — Кантелли, а минимаксный характер установлен в [10]. Состоятельное же оценивание неизвестной плотности распределения представляет собой более сложную задачу. Для корректной постановки задачи оценивания необходима дополнительная априорная информация о классе плотностей F, к к-рому принадлежит оцениваемая плотность f. В классич. постановке априорное семейство плотностей задастся в параметрич. форме и определяется конечномерным вектором неизвестных параметров. При непараметрич. постановке задача приобретает бесконечномерный характер, и точность оценивания неизвестной плотности существенно зависит (см. [11]) от геометрич. характеристик "массивности" класса F. В качестве последних используются, напр., n-мерный поперечник и n-мерный внутренний радиус класса F. Наиболее распространенными оценками неизвестной плотности f являются оценки где — наблюдения, функция Кабсолютно интегрируема и удовлетворяет условию а последовательность такова, что В нек-рых случаях используются другие непараметрич. оценки плотности: более простые (гистограмма, полигон частот) или более сложные, напр, проекционные оценки Ченцова. Вопрос о точности приближения этими оценками неизвестной плотности в зависимости от свойств класса f хорошо изучен (см. [11], [12]). Эмпирич. функцию распределения и непараметрич. оценку плотности можно использовать для оценки функционалов от неизвестных генеральных распределений; для этого достаточно подставить в выражение для оцениваемого функционала вместо неизвестного распределения его оценку. Сама идея и начало ее реализации восходит к работам Р. Мизеса (R. Mises) 30-40-х гг. 20 в. Доказано, что при нек-рых ограничениях на класс оцениваемых функционалов и на непараметрич. класс распределений существует минимаксная граница снизу качества непараметрич. оценок (см. [12]). Непараметрич. оценивание тесно связано с проблемой построения роба-стных оценок. Лит.:[1] Большей Л. Н., Смирнов Н. В., Таблицы математической статистики, 2 изд., М., 1968; [2] Ноdges J., Lehmann E., "Ann. Math. Stat.", 1963, v. 34, №2, p. 598 — 611; [3] Walsh J. E., Handbook of nonparametric statistics, v. 1-3, Princeton, 1962, 1965, 1968; [4] Кендалл М., Стьюарт А., Статистические выводы и связи, пер. с англ., М., 1973; [5] Мартынов Г. В., Критерии омега квадрат, М., 1978; [6] Биллингсли П., Сходимость вероятностных мер, пер. с англ., М., 1977; [7] Wiean d H., "Ann. Stat.", 1976, v. 4, .№ 5, р. 1003-11; [8] Гаек Я., Шидак 3., Теория ранговых критериев, пер. с англ., М., 1971; [9] Кендэл М., Ранговые корреляции, пер. с англ., М., 1975; [10] Dvoretzky A., Kiefer J., Wolf owitz J., "Ann. Math. Stat.", 1956, v. 27, № 3, p. 642-69; [11] Ченцов Н. Н., Статистические решающие правила и оптимальные выводы, М., 1972; [12] Ибрагимов И. А., Xасьминский Р. 3., Асимптотическая теория оценивания, М., 1979; [13] Ван дер Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; [14] Леман Э., Проверка статистических гипотез, пер. с англ., 2 изд., М., 1979; [15] Шметтерер Л., Введение в математическую статистику, пер. с нем., М., 1976; [16] Lehmann В., Nonparametrics: statistical methods based on ranks, S. Г.- N. Y., 1975. Я. Ю. Никитин.