Težak početak, neimaština i prostitucija
Priča o ranom djetinjstvu Billie Holiday pomalo je mutna, a različiti se izvori razlikuju u nekim osnovnim pojedinostima, uključujući njezino rođeno ime - poput Eleanore Fagan Gough i Elinore Harris. Ono što je jasno, u gotovo svim izvještajima je da je rođena 7. travnja 1915. u Philadelphiji, a rodila ju je tinejdžerica Sadie Harris. Njezin otac bio je glazbenik Clarence Holiday. Provela je formativne godine u Baltimoreu, gdje je, živeći u siromaštvu, napustila školu do petog razreda i zaposlila se ribajući podove i vodeći poslove za gradski bordel.
U dobi od 10 godina odslužila je svoje prvo od dva boravka u Baltimorskoj kući dobrog pastira za mlade crnkinje, koja je bila zapravo katolička popravna škola. Prvi put zbog izostajanja iz škole, dok je sljedeći boravak uslijedio s 11 godina nakon što ju je 40-godišnji susjed oteo i silovao. U popravnoj školi, Billie je pronašla svoj pjevački glas, ali je i prošla kroz stravičan tretman. Holiday se u svojoj autobiografiji Lady Sings the Blues prisjetila da nije smjela spavati u spavaonici s ostalim djevojkama, a u jednom trenutku bila je zaključana u sobi s mrtvom djevojkom.
Krajem 1920-ih, i Billie i njezina majka zbog neimaštine su se okrenule prostituciji u Harlemu.