Nascida Ruby Stevens, foi a mais nova de cinco irmãos. Ficou órfã de mãe aos dois anos, e pouco depois o pai abandonou a família, indo trabalhar na Zona do Canal do Panamá. Foi criada, alternadamente, por uma família amiga e pela irmã corista, Mildred, no Brooklyn.
Criado em San Diego, Califórnia, Ayres fugiu da escola para se dedicar à vida artística. Tocava banjo em uma banda que se apresentava em clubes quando foi descoberto por um caçador de talentos, que o levou para Hollywood.