「いや、まったく～ないってわけじゃないけど。」
"It's not exactly ~."
という表現を使うことも出来ます。
"It's not exactly a worry free because I have my parents."
「私にも両親がいるので全く心配がないわけじゃないんだけど。」
ご参考になれば幸いです。
「まったく～ないってわけじゃないけど」は
but it's not as though ... at all
のように表現できます。
例：
I'm single so even if I were to be transferred overseas, I don't have any family to worry about me, but it's not as though nobody would worry about me at all because my parents would.
「私は独身なので海外に転勤になったとしても、私のことを心配する家族はいません。両親がいるのでまったく心配する人がいないわけではないけど」
single で「独身の」
to be transferred overseas で「海外に転勤になる」
ご参考まで！
日本 
カナダ 
