Так говорят во время совершения людьми каких-то безобразных, грубых поступков.

При чём же тут святые? Всё станет понятно, если вы вспомните, что в доме у каждого верующего человека в красном углу стояли иконы.

Бог и святые как будто всегда присутствовали в доме, наблюдали за поступками людей.

В минуту же помрачения ума, например, во время драки или разгульной пирушки, человек забывал стыд, совесть и начинал совершать безобразные поступки прямо перед лицом Бога.

Такому человеку могли сказать: «Как тебе не стыдно! Хоть бы святых вынес!» — и указывали на иконы.

Так и возникло правило выносить святых или поворачивать их к стене во время разгула — то ли чтобы не осквернять их, то ли чтобы они не напоминали о том, что нужно быть человеком...

[Городничий.] Да, таков уже неизъяснимый закон суде́б: умный человек либо пьяница, или рожу такую состроит, что хоть святых выноси.

Николай Васильевич Гоголь. «Ревизор»