Steinberg est né à Winnipeg de parents juifs. Son père, Alexander Steinberg, était cantor et chef d'orchestre. Il a ensuite étudié la musique au Royal Conservatory of Music et l'éducation musicale à l'Université de Toronto. Tout au long de sa carrière, Steinberg s'est concentré sur la musique juive et canadienne.