特にそれを気にしたことはありませんって英語でなんて言うの？

That hasn't ever really bothered me.
これはネガティブなことに対して使えば良いです。"bothered me" とは「私に迷惑をかけた」みたいな意味ですのでこれを言うと質問の問題で自分が困ったことがないと言うことです。
例：
I already know you smoke. That hasn't ever really bothered me.
あなたはタバコを吸うのはもうわかった。特にそれを気にしたことはないよ。
と言うことはタバコを吸うのは構いません。

I never really paid much attention to that.
これはネガティブなことに限っていません。日本語の意味に近い、もっと直接な訳です。