「遊びに行くだけならいいかな」は、
Just hanging out is OK. が言いやすいと思います。
hang out は、ブラブラして時間を過ごすときに使うので、特別な感じではなく、ちょっと遊びに行く感じで使えます。
ちなみに、go out は、「つきあう、交際をする」意味になるので、
I don't wanna go out with him/her, but just hanging out is OK.
交際はしたくないけど、遊びに行くぐらいならいいかな。
と言えば、わかりやすいと思います。