Этимологический словарь Крылова
Образовано с помощью приставки от существительного булдыга – "гуляка, пьяница" (сохранилось только в диалектах), в свою очередь образованного от существительного булда, которое, видимо, родственно утраченному була – "дубина".