ーWould it be ok if I leave your group?
「このグループから抜けても良いですか?」
leave your group で「あなたの(この)グループから抜ける」と言えます。
例:
I've gotten really busy lately so it's hard for me to join your chat regularly. I may have to ask you to please excuse me from the group chat. I feel bad for saying this since you were kind enough to invite me in the first place.
「最近とても忙しくてチャットにちゃんと参加できません。チャットグループから抜けさせてもらおうと思います。せっかくあなたから親切に誘ってもらったのに申し訳ありません。」
join chat regularly で「きちんと(定期的に)チャットに参加する」
excuse from ... で「…から辞退する・中座する」
ご参考まで!