Whether you have your actual parents or not, doesn't make a difference.
詳しいシチュエーションがわかりませんが、次のような言い方ができますよ。
ーWhether you have your actual parents or not, doesn't make a difference.
「あなたに本当の両親がいてもいなくても、違いはない」
to make a difference で「違いが生まれる・影響を及ぼす」
ご参考まで!