Juozas Šibaila gimė 1905 m. kovo 18 d. Vilniaus gubernijoje, Trakų apskrityje, Nedzingės valsčiuje, Vadėnų kaime (dabar – Varėnos r.), o krikštytas Nedzingės parapijos bažnyčioje 1905 m. kovo 20 d. Jo tėvas buvo Tomas (Tamošius) Šibaila, motina Ona Bingelytė, krikšto tėvas Vincentas Zajančkauskas, o krikšto motina Morta Vaškelienė. Šibailos visas vardas Juozapas buvo vartojamas tik oficialiuose dokumentuose ir tai ne visuose. Jo vyriausiojo sūnaus Vytauto, gimusio 1930 m. rugpjūčio 24 d. Ukmergės apskr., Panoterių valsč., Panoterių k., gimimo aktų registracijos knygoje 1930 m. rugsėjo 17 d. akto įraše Nr. 49 ir sovietmečiu jam išduotame pase rašomas jo tėvo vardas Juozas, o jauniausiojo sūnaus Jono Kęstučio, gimusio 1935 m. sausio 27 d. Ukmergės apskr., Kurklių valsč., Vaičiuliškio k., gimimo aktų registracijos knygoje 1935 m. kovo 19 d. akto įraše Nr. 30 rašoma, kad jo tėvas Juozapas Šibaila. Kaip įprasta Lietuvoje, Šibailos šeimos nariai, giminės bei pažįstami, o ir kovų bendražygiai vadino jį sutrumpintai –Juozu.