I don't want to (have to) deal with him / her / (name).
英訳1:「不可能な」という意味の impossible を人に対して使うと「我慢できない」や「手に負えない」といったネガティブな意味になります。日本語だと(付き合うには)「無理な」人ですね。
英訳2:deal with を人に使うと「対応する」とか「やっていく」といったニュアンス。それができない相手は「やっていけない」「付き合えない」人になります。
例文に出した表現を両方使っても自然です。
たとえば、James is impossible! I don't want to deal with him anymore. で「ジェームスには我慢できない!もう彼とは付き合えないよ」といった意味になります。