You can come along with me only when you are free.
「時間のあるときだけ」や「暇な時だけ」と言いたい場合は、only「だけ」を使って"Only when you have time"や"Only when you are free"と言えます。"hang out"は「遊ぶ」、"come along with"は「～に付き添う、～と一緒にくる」なので、"We can hang out only when you have time"で「あなたが時間のあるときだけで大丈夫（遊べるよ）」や "You can come along with me only when you are free"「暇なときに一緒に来てくれればいいよ」というニュアンスになります。ちなみに、ご友人に現地を「案内してもらう」場合は "show me around"となります。
"Don't worry about me."「私のことは心配しないで」や、"I know that you will be busy.""I know that you will have a lot of things to do."「忙しいでしょ」「たくさんやることがあるでしょ」などを前置きにして、「私のことは心配しないで。忙しいだろうから、暇な時だけ付き合ってくれれば」"Don't worry about me. I know that you will be busy. We can hang out only when you have time." という言い方をすれば、「長期滞在で毎日付き合わせてしまうのは悪いな」という気持ちが伝わるのでは？
ご参考になれば幸いです。
日本 
