相手が男性の場合は単純にあの人好きじゃないと言った感じで
I don't like him で良いと思います。
女性だと him ではなく her を使います。
因みに人に対しても not my cup of tea を使うのは可能です。
メタファー的な表現なので物だけには限りません。
Favourite も he's not my favourite person と言うのも良いですが
I don't like him などに比べるとそこまで使われる表現でもないです。
この場合、次のような言い方ができますよ。
ーI'm not fond of that person.
「私はあの人を好んでいない」＝「あの人が苦手です」
ーI'm not a fan of him/her.
「私は彼/彼女のファンではない」＝「彼/彼女が苦手だ」
ーI'm not crazy about him.
「私は彼に夢中でない」＝「彼は苦手だ」
ご参考まで！
「あの人苦手なんだ」という感覚を伝えたい場合、"He's not really my type." や "I don't really get along with that kind of person." などの表現が適しています。これらは、自分とは合わない人や苦手な人を指す時に使えるフレーズです。
例文:
- He's not really my type, I find it hard to relate to him.
（あの人苦手なんだよね。彼とは共感し難いんだ。）
- I don't really get along with that kind of person.
（ああいうタイプの人とはあまりうまくやっていけないんだよね。）
関連する単語とフレーズ:
- not my thing (私の興味・好みじゃない)
- not to my taste (私の好みではない)
- I don't really click with him/her (彼/彼女とはあまりウマが合わない)
日常会話で自然に使えるこれらの表現は、自分とあうあわないという好みの差を友達に話す時に便利です。特に "not my thing" や "not to my taste" は、人に限らず興味のあること、食べ物、活動など幅広い状況に使えます。
日本 
カナダ 
アメリカ合衆国 
