If he hadn't felt confident, he wouldn't have taken the exam.
実際には自信があったから、受けたという状況ですね。
この場合は仮定法という文法を使うといいと思います。
仮定法は過去の話をするときは、If... had 過去分詞、... would have 過去分詞という形になります。ここでは、自信があるというのはconfidentという単語がありますので、これを使うとうまく意味が出ると思いますよ。
If he weren't confident that he could pass the test, he wouldn't have taken it in the first place.
この場合、次のような言い方ができますよ。
ーIf he weren't confident that he could pass the test, he wouldn't have taken it in the first place.
「彼はテストに受かる自信がなかったら、そもそも受けてなかっただろう」
in the first place「そもそも・最初に」
ご参考まで！
日本 
カナダ 
