Линейный оператор в гильбертовом пространстве, спектральный анализ которого не укладывается в рамки теории самосопряженных операторов и ее простейших обобщений: теории унитарных операторов и теории нормальных операторов. Н. о. возникают при рассмотрении процессов, протекающих без сохранения энергии: в задачах с трением, в теории открытых резонаторов, в задачах неупругого рассеяния и др. К исследованию Н. о. приводят и нек-рые самосопряженные задачи, в к-рых при разделении переменных возникает операторно-значная функция , нелинейно зависящая от спектрального параметра . Многие из предложений, относящиеся к теории Н. о., справедливы и для операторов, действующих в произвольных банаховых пространствах, F-пространствах, топологических векторных пространствах и т. д. Наиболее распространенным методом изучения Н. о. является метод оценки резольвенты, использующий теорию аналитич. ций, теорию асимптотич. разложений и др. Первыми работами, относящимися к теории Н. о., были работы Г. Биркгофа (G. Birkhof), Я. Д. Тамаркина, В. А. Стеклова и др. по исследованию задач для обыкновенных дифференциальных уравнений. Эти ученые применяли метод Коши контурного интегрирования резольвенты. Для дифференциальных Н. о. с частными производными долгое время отсутствовали эффективные методы изучения. Объясняется это сложным строением резольвенты оператора, как аналитич. ции. В развитии общей теории Н. о. (и, в частности, операторов с частными производными) большую роль сыграла работа М. В. Келдыша [1] (см. также [2]). В ней изучено уравнение где у — элемент некоторого гильбертова пространства Н, а оператор допускает представление Здесь H0 — вполне непрерывный обратимый самосопряженный оператор конечного порядка, — произвольные вполне непрерывные операторы. (Вполне непрерывный оператор А , действующий в гильбертовом пространстве, называется оператором конечного порядка, если при нек-ром ; через обозначены сингулярные числа А, т. е. собственные значения оператора Собственные значения уравнения (1) — те значения , при к-рых это уравнение имеет нетривиальные решения у;эти решения наз. собственными векторами. При сделанных выше предположениях спектр уравнения (1) дискретен. Вследствие несамосопряженности оператора , наряду с собственными векторами, естественно, возникают (при наличии кратного спектра) присоединенные векторы. В работе [1] строится цепочка присоединенных векторов отвечающих собственному значению и собственному вектору упо правилу Система собственных и присоединенных векторов оператора наз. n-кратно полной, если любые пвекторов пространства Нможно аппроксимировать по норме Нс любой точностью конечными линейными комбинациями вида с одними и теми же коэффициентами . Здесь вектор-функция вида Определение n-кратной полноты, естественно, связано с решением задачи Коши для соответствующего уравнению (1) нестационарного уравнения. Согласно теореме М. В. Келдыша, при сделанных предположениях относительно коэффициентов система всех собственных и присоединенных векторов оператора n-кратно полна в Н. В работе [1] было также показано, что собственные значения асимптотически приближаются к лучам При доказательстве полноты М. В. Келдыш развил новый метод оценки резольвенты абстрактного вполне непрерывного Н. о. конечного порядка. При этом выявилась особая роль, к-рую играют в проблеме полноты вольтерровы операторы — вполне непрерывные операторы с единственной точкой спектра в нуле. Для доказательства асимптотич. поведения собственных значений М. В. Келдыш [3] использовал установленную им новую тауберову теорему. Исследования М. В. Келдыша были продолжены многими учеными. Его теорема распространена [4] на случай, когда в уравнении (1) оператор рационально зависит от . Было рассмотрено (см. [5] — [7]) уравнение с где С — вполне непрерывный положительно определенный оператор, а В- ограниченный самосопряженный оператор. Обобщение теоремы Понтрягина (см. [8]) о существовании у J-самосопряженного оператора Амаксимального J-неотрицательного инвариантного подпространства позволило (см. [6] и [7]) установить, в важных для приложений ситуациях, двухкратную полноту всех собственных п присоединенных векторов , а также однократную полноту подсистемы, соответствующую спектру, расположенному в левой (правой) полуплоскости. Эти результаты получили дальнейшее развитие. Установлена (см. 19]) суммируемость рядов Фурье по собственным и присоединенным векторам вполне непрерывного оператора Аконечного порядка , у к-рого значения квадратичной формы лежат в секторе комплексной плоскости, раствора меньшего (по поводу приложений этой теоремы и ее дальнейших обобщений см. [10] и библиографию там). Вопрос о том, когда система собственных и присоединенных векторов образует базис в гильбертовом пространстве, изучался в ряде работ (см. [11]). Наиболее общие условия, при к-рых система собственных и присоединенных векторов диссипативного вполне непрерывного оператора образует базис, найдена в [12]. В случае сингулярных дифференциальных операторов с дискретным спектром получен (см. в [11] и [13]) ряд тонких результатов о полноте собственных и присоединенных функций оператора Штурма-Лиувилля с комплексным потенциалом. Важные результаты получены в случае эллиптич. операторов (см. [14]). Дано обобщение теоремы Келдыша на случай обобщенных собственных и присоединенных функций несамосопряженных эллиптич. операторов (см. [15], [16]). Попытка перенести теорему о приведении конечномерного оператора к жордановой форме на бесконечномерный случай привела к построению треугольного интегрального представления. Для вполне непрерывных операторов — самосопряженные и имеет конечный порядок, получен аналог теоремы Шура об унитарной эквивалентности оператора Втреугольному (см. [17]). Особое место в проблеме треугольного представления заняли вольтерровы операторы. В проблеме треугольного представления существенную роль сыграла теорема Неймана о существовании у линейного вполне непрерывного оператора в гильбертовом пространстве нетривиального инвариантного подпространства; у произвольного ограниченного линейного оператора в банаховом пространстве нетривиального инвариантного подпространства может не быть; соответствующий вопрос для случая гильбертова пространства остается открытым (1982). Вольтерров оператор наз. одноклеточным, если из каждых двух его инвариантных подпространств и , либо Найдено [18] необходимое и достаточное условие однолистности оператора Вв предположении, что — ядерный неотрицательно определенный: это условие формулируется в терминах роста резольвенты оператора Впри . Указано [19] простое достаточное условие одноклеточности. Н. о. с непрерывным спектром впервые были исследованы М. А. Наймарком (см. [20], [21] ), к-рый получил разложение в интеграл Фурье, связанное с несамосопряженной задачей где — комплекснозначная функция, удовлетворяющая условию — комплексное число. Из результатов работы [20], в частности, следует, что в окрестности точек действительной оси, обращающих функцию в нуль , спектральные проекторы оператора (3) — (4) ноограничены (через обозначено решение уравнения (3), удовлетворяющее условию при — решение Иоста); действительные нули функции A(s) названы в [20] спектральными особенностями. Получено (см. [22]) обобщение результатов работы [20] на случай уравнения Шредингера в трехмерном пространстве. В развитие работы [20] было показано (см. [23]), что в общем случае (без ограничения типа (5)) спектральная функция дифференциального оператора должна рассматриваться как линейный непрерывный функционал, заданный на некотором топологическом пространстве. Исследовалась (см. [24]) система несамосопряженных уравнений с особыми точками, положение к-рых зависит от спектрального параметра. Эти системы встречаются в безмоментной теории оболочек. Для таких систем установлены асимптотич. свойства решений, а также доказаны теоремы разрешимости типа теоремы Коши. Установлены теоремы полноты системы собственных и присоединенных функций несамосопряженных пнтегро-дифференциальных операторов, порождающих нерегулярную задачу. Важной задачей теории дифференциальных Н. о. является задача о разложении ядра оператора Грина в биортогональный ряд по собственным и присоединенным функциям, а также проблема их базисности. Я. Д. Тамаркин [25] исследовал разложения суммируемой функции в ряд по собственным и присоединенным функциям регулярной задачи, а также вопросы равносходимости с тригонометрич. рядом Фурье. Позже было показано (см. [26], [27]), что для нерегулярных задач равносходимость с тригонометрическим рядом не имеет места. Для усиленно регулярных условий система собственных и присоединенных функций образует базис в L2. Показано (см. [28], [29]), что указанная система образует не только базис, но и так наз. базис Рисса. Развит в (см. [30]) важный метод изучения условий базисности и равномерной сходимости разложений по собственным и присоединенным функциям обыкновенного Н. о. Этот метод является дальнейшим развитием идей, примененных при исследовании самосопряженных задач. Предложена новая трактовка собственных и присоединенных функций, что позволило отказаться от конкретного вида граничных условий; рассмотрены общие обыкновенные дифференциальные операторы или пучки таких операторов и установлены необходимые и достаточные условия базисности собственных и присоединенных функций таких операторов, а также критерии равносходимости. Метод основан лишь на формуле среднего значения для собственных и присоединенных функций (см. также [31]). Оказалось также, что если у оператора число присоединенных функций бесконечно, то свойство базисности зависит от выбора последних (см. [32]). Для несамосопряженных зллиптич. операторов имеет место (см. [33]) сходимость некоторой последовательности средних типа Пуассона частичных сумм биортогонального ряда, т. е. предложен способ суммирования. Разложения по собственным и присоединенным функциям нерегулярных задач впервые получены для задачи вида Доказано (см. [26]), что в равномерно сходящиеся ряды такого вида могут быть разложены функции, удовлетворяющие нек-рым условиям аналитичности. К числу фундаментальных относятся исследования (см. [34]), в к-рых изучается вопрос о возмущении спектра оператора Лапласа при изменении области. При этом впервые была выявлена роль емкости варьируемого множества на спектр оператора. Эти методы с успехом применяются при исследовании несамосопряженных задач. В теории Н. о. успешно применяются методы регуляризации, основы к-рых были заложены в [35]. Пример — вопрос регуляризованных следов Н. о. Первой работой по теории следов была статья [36], где был вычислен регуляризованный след оператора Штурма — Л иувилля. Наиболее общие результаты в теории следов операторов получены в статьях [37], [38]. Оказалось, что формулы следов обыкновенных несамосопряженных дифференциальных операторов, зависящих сложным образом от спектрального параметра, могут быть получены как следствия из формул регуляризованных сумм корней некоторого класса целых функций. (По поводу следов для сингулярных операторов и операторов с частными производными см. [38], [39].) К числу важных работ, в к-рых развиты новые методы и идеи теории Н. о., относится также обзорный доклад [40]. Построение окончательной теории Н. о. далеко от завершения (1982). С одной стороны, в самой этой теории формируются новые направления исследования, напр, теория рассеяния [41], построение теории операторов сжатия [42], метод канонического оператора Маслова [43], теория спектральных операторов [44] и др., а с другой стороны — исследования прикладных задач, механики, математической физики подсказывают новые пути развития этой теории. Лит.:[1] Келдыш М. В., "Докл. АН СССР", 1951, т. 77, № 1, с. 11 -14; [2] его же, "Успехи матем. наук", 1971, т. 26, в. 4, с. 15-41; [3] его же, "Тр. Матем. ин-та АН СССР", 1951, т. 38, с. 77-86; [4] Аллахвердиев Д ж. Э., "Докл. АН СССР", 1957, т. 115, № 2, с. 207-10; [5] Лангер Г., "Докл. АН СССР", 1960, т. 134, № 2, с. 263-66; [6] Крейн М. Г., там же, 1964, т. 154, № 5, с. 1023-26; [7] Крейн М. Г., Лангер Г. К., в кн.: Приложения теории функций в механике сплошной среды, М., 1965 (Тр. Международного симпозиума, т. 2); [8] Понтрягин Л. С, "Изв. АН СССР. Сер. матем.", 1944, т. 8, с. 243-80; [9] Лидский В. Б., "Докл. АН СССР", 1956, т. 110, № 2, с. 172-75; [10] Агранович М. С, "Функц. анализ и его приложения", 1976, т. 10, № 3, с. 1 -12; [11] Гохберг И. Ц., Крейн М. Г., Введение в теорию линейных несамосопряженных операторов в гильбертовом пространстве, М., 1965; [12] Кацнельсон В. Э., "Функц. анализ и его приложения", 1967, т. 1, № 2, с. 39-51; [13] Лидский В. Б., "Докл. АН СССР", 1957, т. 113, № 1, с. 28-31; [14] КостюченкоА. Г., там же, 1964, т. 158, М 1, с. 41-44; [15] Пономарев С. М., "Дифф. уравнения", 1974, т. 10, № 12, с. 2294-96; [16] Круковский Н. М., там же, 1976, т. 12, № 10, с. 1832-51; [17] Гохберг И. Ц., Крейн М. Г., Теория вольтерровых операторов в гильбертовом пространстве и ее приложения, М., 1967; [18] Бродский М. С, Кисилевский Г. Э., "Изв. АН СССР. Сер. матем.", 1966, т. 30, № 6, с. 1213-28; [19] Никольский Н. К., "Докл. АН СССР", 1967, т. 172, № 2, с. 287-90; [20] Наймарк М. А., "Тр. Моск. матем. об-ва", 1954, т. 3, с. 181 — 270; [21] его же, Линейные дифференциальные операторы, 2 изд., М., 1969; [22] Гасымов М. Г., "Докл. АН АзССР", 1966, т. 22, №10, с. 9-12; [23] Марченко В. А., "Матем. сб.", 1960, т. 52, с. 739-88; [24] Садовничий В. А., "Тр. Семинара им. И. Г. Петровского", 1976, в. 2, с. 211-21; [25] Тамаркин Я. Д., О некоторых общих задачах теории обыкновенных линейных дифференциальных уравнений..., Иг . 1917; [26] Ward L. E., "Ann. Math.", 1925, v. 26, p. 21-3b; его же, "Trans. Amer. Math. Soc", 1932, v. 34, p. 417-34; [27] Хромов А. П., "Тр. Второй науч. конференции мате-матич. кафедр педагогич. вузов Поволжья" (Куйбышев), 1962, в. 1, с. 109 — 13; [28] Михайлов В. П., "Докл. АН СССР", 1962, т. 144, № 5, с. 981-84; [29] Кессельман Г. М., "Изв. ВУЗов. Математика", 1964, № 2, с. 82-93; [30] Ильин В. А., "Докл. АН СССР", 1976, т. 230, № 1, с. 30-33; [31] Моисеев Е. И., там же, 1977, т. 233, № 6, с. 1042-45; [32] Тихомиров В. В., "Матем. сб.", 1977, т. 102 № 1, с. 33-55; [33] Лидский В. Б., "Матем. сб.", 1962, т. 57, № 2, с. 137-50; [34] Самарский А. А., "Успехи матем. наук", 1950, т. 5, в. 3, с. 133-34; [35] Тихонов А. Н., "Докл. АН СССР", 1963, т. 153, № 1, с. 49-52; 1943, т. 39, № 5, с. 195-98; [36] Гельфанд И. М., Левитан Б. М., там же, 1953, т. 88, № 4, с. 593-96; [37] Лидский В. Б., Садовничий В. А., там же, 1967, т. 176, № 2, с. 259-62; [38] Садовничий В. А., "Дифф. уравнения", 1974, т. 10, № 7, с. 1276-85; [39] Садовничий В. А., Любиткин В. А., "Докл. АН СССР", 1981, т. 261, № 2, с. 290 — 93; [40] Келдыш М. В., Лидский В. Б., в кн.: Тр. Четвертого Всесоюзного математического съезда, т. 1, Л., 1963, с. 101-20; [41] Лаке П. Д., Филлипе Р. С, Теория рассеяния для автоморфных функций, пер. с англ., М., 1979; [42] Секефальви-Надь Б., Фояш Ч., Гармонический анализ операторов в гильбертовом пространстве, пер. с франц., М., 1970; [43] Маслов В. П., Операторные методы, М., 1973; [44] Данфорд Н., Шварц Дж., Линейные операторы, пер. с англ., ч. 3, М., 1974. В. А. Садовничий.