SYSTEM ATLASЗагрузка материала

Компромисс исследования и использования

Explore–Exploit Tradeoff

Нужно балансировать между проверенным решением и поиском нового.

Простыми словами

Нужно выбирать между знакомым вариантом с предсказуемой выгодой и поиском нового, который может оказаться лучше. Например, пойти в любимое кафе или попробовать незнакомое. Если только исследовать, вы не используете найденное; если только повторять знакомое, можете навсегда пропустить лучший вариант.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

В задаче «Выбор стратегии» сразу применить привычное решение и назвать происходящее «Компромисс исследования и использования», не проверив, действительно ли работает этот механизм. Так можно улучшить один симптом и пропустить основную причину.

Системный подход

Использовать «Компромисс исследования и использования» как гипотезу: сначала определить границы ситуации и исходное состояние, затем менять только то, что связано с проверяемым механизмом, и смотреть на результат.

Ограничения

Оптимальный баланс зависит от горизонта, нестационарности и стоимости эксперимента; классическая постановка не учитывает все риски реальных решений.

Источник

Herbert Robbins, “Some Aspects of the Sequential Design of Experiments”, 1952.

Первоисточник