SYSTEM ATLASЗагрузка материала

Теорема кодирования шумного канала

Noisy-Channel Coding Theorem

Ниже емкости канала ошибки можно сделать сколь угодно редкими.

Простыми словами

Например, файл нужно сжать без потерь, и существует предел, ниже которого объём уже нельзя уменьшить без утраты информации. Поэтому этот инструмент используют, чтобы сравнивать количество информации, неопределённость или цену передачи - без контекста одна формула не говорит, какое инженерное решение лучше.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Решение принимают без учета механизма «Теорема кодирования шумного канала», оценивая только ближайший эффект.

Системный подход

Перед изменением проверяют, как «Теорема кодирования шумного канала» влияет на ограничения, стимулы, зависимости и вторичные последствия.

Ограничения

«Теорема кодирования шумного канала» объясняет только часть происходящего в области «Теория информации». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Claude Shannon, 1948.

Первоисточник