I started to feel something against XX.
somethingは「何かはっきりいえないもの」を指したいときに使える表現です。日本語よりずっと具体的な表現を好む英語で、あえてうまく言えないものがあるということで、もやもや感を伝えることができると思います。againstはwithの反対で、相手に同意できないことまで表してくれるので、something against の組み合わせでわだかまりをばっちり表現できるはずです。
また、
I am no longer comfortable with XX
というような表現もあります。前は安心して付き合っていたけど、今はXXと会っているときは安心できなくなってしまったということで、心の変化も表せます。
どちらの表現も自分の心のどうしても言い表せない感じを伝えようとしているので、そのまま受け止めてもらえるはずです。ただ、いつもはきちんと具体的に話せるから時々使える表現なので使いすぎないように注意してくださいね。