ご質問ありがとうございます。
「抜きにする」はleave outとかtake awayと言います。「〜しても」はeven ifになります。without thatは「それなしで」の意味ですので、「抜きにする」として使えると思います。
例文:それを抜きにしても彼の人柄が好き
Even without that, I still like his personality.
Even if you leave that out, I still like his personality.
Even if you take that away, I still like his personality.
ご参考いただければ幸いです。