受かる自信がなかったらテストを受けなかったはずです。って英語でなんて言うの？

実際には自信があったから、受けたという状況ですね。 この場合は仮定法という文法を使うといいと思います。 仮定法は過去の話をするときは、If... had 過去分詞、... would have 過去分詞という形になります。ここでは、自信があるというのはconfidentという単語がありますので、これを使うとうまく意味が出ると思いますよ。