この場合、次のように言うと良いでしょう。
A: Of all the countries you have travelled to, which one did you like the least?
「今まで旅行した国の中で、一番好きでなかった国はどこですか？」
B: It's not that I hate the country, but I have a bad memory of xx.
「嫌いというわけではありませんが、xxの嫌な思い出があります」
It's not that I hate the country, but ... で「その国が嫌いというわけではないが」と言えます。
または次のような言い方もできます。
I don't dislike the country, but xx left a bad taste in my mouth.
「その国が嫌いではないが、xxには悪い思い出がある」
to leave a bad taste in one' mouth で「人に嫌な印象を残す」という表現です。一緒に覚えておくと良いでしょう。
ご参考まで！
ご質問ありがとうございます。
・「It's not like I don't like the country but...」
＝嫌いな国という訳ではないけど
（例文）It's not like I don't like the country, don't get me wrong.
（訳）嫌いな国という訳ではないの、誤解しないでね。
（例文）It's not like I don't like the country but I don't think I'll go there again.
（訳）嫌いな国という訳ではないけどもう行くことはないかな。
便利な単語：
country 国
お役に立てれば嬉しいです。
Coco
カナダ 
日本 
