Сообщений Скорость Создания

Величина, характеризующая информации количество, создаваемое за единицу времени источником сообщений. С. с. с. источника сообщений ис дискретным временем, вырабатывающего сообщение образованное последовательностью случайных величин принимающих значение из нек-poгo дискретного множества X, определяется равенством если такой предел существует. Здесь — энтропия случайной величины Величину определяемую равенством (*), называют также энтропией (на символ) источника сообщений. Доказать существование предела (*) и явно его вычислить удается, напр., для стационарных источников; явные формулы для получены для стационарных марковских источников и гауссовских источников. Понятие С. с. с. Н(и)тесно связано с понятием избыточности источника сообщений. Если и — стационарный эргодич. источник сообщений с конечным числом состояний, то справедливо следующее свойство асимптотической равнораспределенности (теорема Макмиллана, [1]). Пусть где суть значения — отрезка сообщений длины L. Для произвольных существует такое, что при всех Лит.:[1] Вольфовиц Дж., Теоремы кодирования теории информации, пер. с англ., М., 1967; [2] Галлагер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [3] Файнстейн А., Основы теории информации, пер. с англ., М., 1960. Р. Л. Добрушин, В. В. Прелов.