Простыми словами
Средняя скорость может выглядеть хорошей, хотя небольшая доля запросов обслуживается очень долго. Для пользователя важен именно его медленный случай, а в цепочке сервисов такие задержки накапливаются. Поэтому измеряют не только среднее, но и «хвост» — например, 95-й или 99-й процентиль.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на структуру компонентов, потоки данных, ограничения и действия участников. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
В задаче «Backend» сразу применить привычное решение и назвать происходящее «Хвостовая задержка», не проверив, действительно ли работает этот механизм. Так можно улучшить один симптом и пропустить основную причину.
Использовать «Хвостовая задержка» как гипотезу: сначала определить границы ситуации и исходное состояние, затем менять только то, что связано с проверяемым механизмом, и смотреть на результат.
Ограничения
«Хвостовая задержка» объясняет только часть происходящего в области «Производительность». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Jeffrey Dean, Luiz André Barroso, “The Tail at Scale”, 2013.