気軽な集まりなので遅れて来ても早く帰ってもいいですって英語でなんて言うの？

ーIt's just a casual gathering, so you can come whenever you like and go home when you like.
「気軽な集まりなので、好きな時に来て好きな時に帰っていいよ」
a casual gathering で「気軽な集まり」
to come whenever you like で「あなたが好きな時に来る」
to go home when you like で「あなたが好きな時に帰る」

ーIt's just a casual get-together, so drop by anytime and take off whenever you like.
「気軽な集まりだから、いつでも顔出して、好きな時に帰って」
a casual get-together で「気軽な集まり・親睦会」
to drop by で「立ち寄る・顔を出す」
to take offで「立ち去る」

ご参考まで！