Já passei por isso uma vez, se vc deixar o aparelho iniciar normalmente ele simplesmente vai ignorar o arquivo do custom recovery. Quando for instalar o twrp desmarque a caixa "Auto Reboot", logo em seguida saia do modo download da mesma forma que você fez para entrar(volume down+power+home) e quando a tela do aparelho escurecer rapidamente force o aparelho a entrar no twrp(volume up+power+home). Espero ter ajudado