Não precisa converter para ISO, não é a solução para o seu problema.
O BaseSystem está dentro do InstallESD, confira o MD5 do seu: b5d3753c62bfb69866e94dca9336a44a
Reveja todos os passos com atenção, principalmente a criação do dmg, você deve estar fazendo algo errado.