It swings by when I actually have other things to do.
to come by や to swing by は英語で「ちょっと遊びにくる」「ちょっと寄る」「ふらっと来る」という時に使います。例えば誰かのお迎えに行く時に I will come by around 6pm （夕方6時ごろ来るね）とか、ちょこっとものを渡すために家による時とかは I can swing by your house later （後で君の家に寄るから）と言う感じで使います。
猫の性別がわかれば he か she を使えますがとりあえずわからない時は it で大丈夫です。
It comes by only when I'm busy. （猫は私が忙しい時にだけ遊びに来る）
It swings by when I actually have other things to do. （実際他にやらないと行けないことがある時に限って遊びに来る）
このような言い方ができます。どうぞご参考に。
The neighbour's cat seems to only come to our house when I'm busy.
この場合、次のような言い方ができますよ。
ーThe neighbour's cat seems to only come to our house when I'm busy.
「近所の猫は私が忙しい時に限って我が家に遊びに来る」
to only come to our house when I'm busy で「私が忙しい時だけうちに来る」＝「忙しい時に限ってうちに来る」
ご参考まで！
日本 
カナダ 
