I don't necessarily hate Person A, but I'm just not a big fan.
ご質問ありがとうございます。
Aさんについて、「嫌いではないけど少し苦手」と言いたいなら、英語で「I don't necessarily hate Person A, but I'm just not a big fan.」という風に言えます。
最後の部分「not a big fan」という表現は何か特に好きわけではないという意味です。嫌いまで行かないので、このシチュエーションでで適切だと思います。
ご参考になれば幸いです。
I don't really hate A, I'm just not a big fan of him.
It's not like I really dislike A, he's just not my kind of person.
この場合、次のような言い方ができますよ。
ーI don't really hate A, I'm just not a big fan of him.
「Aのことは嫌いじゃないけど、あまり好きでもない」
not a big fan of ... を使って苦手なことを表すことができますよ。
ーIt's not like I really dislike A, he's just not my kind of person.
「Aのことをすっごい嫌いというわけではないけど、私には合わない」
not my kind of person で「私の性に合った人ではない」=「苦手な人」とも言えます。
ご参考まで!