やはり一番自然に使われる表現は not my type かと思います。 これ以上もこれ以下もないかなと言った感じです。 His face よりは He で始めてあげるといいでしょう。 直訳風にI don't like と始めてしまった場合、異性として好みじゃないという意味以上に、人間としてだとかいろんな意味で 好きじゃない という伝わり方になってしまいます。 そういう意味でも、顔がタイプじゃない と伝える場合は He is not really my type. が自然な伝え方かな、と思います。