¿Debería estar encendida la luz piloto de un calentador de agua a gas vacío?

No.

La luz piloto de un calentador de agua a gas necesita combustible para funcionar. Si el calentador de agua está vacío, no podrá suministrar a la luz piloto el combustible necesario y se apagará.