この場合、次のような言い方ができますよ。
ーThat country wasn't really my cup of tea.
「あの国は私に合わなかった」
cup of tea「好み・お気に入り」
ーThat city didn't suit my interests.
「あの街は私の関心に合わなかった」
didn't suit one's interests で「人の興味・関心に合わない」
ーI wasn't really that into that city.
「私はあの街にあまり夢中にならなかった」
into で「…に夢中になって」
ご参考まで！
ご質問ありがとうございます。
・「I'm not a big fan of that city.」
（意味) あの街はあまり好きじゃない。
<例文>I'm not a big fan of that city. I like the countryside.
<訳>あの街はあまり好きじゃない。田舎が好きです。
参考になれば幸いです。
カナダ 
アメリカ合衆国 
