Простыми словами
Например, два набора данных похожи, и требуется численно оценить, насколько знание одного уменьшает неопределённость другого. Поэтому этот инструмент используют, чтобы сравнивать количество информации, неопределённость или цену передачи - без контекста одна формула не говорит, какое инженерное решение лучше.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Решение принимают без учета механизма «Принцип минимальной дискриминационной информации», оценивая только ближайший эффект.
Перед изменением проверяют, как «Принцип минимальной дискриминационной информации» влияет на ограничения, стимулы, зависимости и вторичные последствия.
Ограничения
«Принцип минимальной дискриминационной информации» объясняет только часть происходящего в области «Теория информации». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Solomon Kullback; Richard A. Leibler, “On Information and Sufficiency”, 1951.