1947 yılında Ardahan'ın Gölgeli Köyü’nde dünyaya geldi.  Eğitimini Gölgeli Köyü’nde tamamlayarak 1960 yılında İstanbul'a geldi. Şişecam, Halat Fabrikası ve KAVEL Kablo Fabrikası’nda çalıştı.  CHP Gençlik Kolları’nda aktif olarak siyasete başlayan Yıldız, 1983'te SODEP’in Beykoz ilçesi kurucuları arasında yer aldı.1984 yerel seçimlerinde Beykoz Belediyesi meclis üyeliğine seçildi. CHP, SHP birleşmesinden sonra siyasete CHP üyesi olarak devam edip CHP içinde komisyonlarda görev aldı. Evli ve 6 çocuk babası olan Asker Yıldız 2004 yılında vefat etmiştir.