Куда угодно, куда только захочется (уходить, убираться, прогонять).

Идти на все четыре стороны — означает предоставить полную свободу, совсем. Полностью располагать собой; будучи независимым, свободным от каких-либо обязанностей, поступать так, как хочется.

Другое значение — куда глаза глядят, куда хочешь. Возможно, основано на обычае франков при освобождении раба, ставить его на перекрёстке, ведущем на четыре стороны, со словами: пусть будет свободен и идёт куда хочет.

Говорится с неодобрением, когда подразумевается, что говорящий испытывает нежелание видеть кого-либо и общаться с ним. То есть говорящий прогоняет другое лицо.

Фразеологизм характерен для русского фольклора, в частности — для русских народных сказок, часто употребляется в ситуациях, связанных с покиданием родного дома.

Для души было у родича отрадное им всем дело: узнав, что где-нибудь на Волге сажали губернатором, комендантом или ещё каким начальником немца, он со своими казаками город сей брал штурмом, немца сек публично и с великим срамом отпускал на все четыре стороны...

Даниил Александрович Гранин. «Зубр»