Ироническое название человека, не заслуживающего никакого внимания, с которым не считаются.
В старину по городам и деревням России бродили небольшие группы самодеятельных артистов,
На ярмарках можно было увидеть такую картину: поводырь показывает ручного «учёного» медведя, их сопровождают пляшущий скоморох, на голове которого укреплено грубое подобие козьей головы из мешковины, и барабанщик, который бьёт в барабан, аккомпанируя этой пляске и созывая народ на представление.
Чаще всего он был из отставных солдат — это и был «козы барабанщик». Потерять даже такую простую и никчёмную работу, то есть оказаться в положении «отставного козы барабанщика» означало опуститься на самое дно жизни.
Впоследствии так стали называть и тех, кто был уволен со службы за неспособность или нерадивость, и людей без определённых занятий.
Дедушке Матвею Иванычу было над чем и над кем повластвовать, и он понимал себя в этом отношении не пятым колесом в колеснице и не отставным козы барабанщиком.
Михаил Евграфович Салтыков-Щедрин. «Дневник провинциала в Петербурге»