It's kind of annoying being held up by someone who is chatting and chatting when you want to go home.
確かに日本の辞書には to bail up で「人を引き止めておしゃべりをする」という意味が載っていますが、私は聞いたことがないです。
この場合、次のように言うと自然かと思います。
ーIt's kind of annoying being held up by someone who just keeps talking on and on when you want to go home.
「家に帰りたいのに、延々と話し続けられて引き留められると、ちょっと迷惑だ」
annoying で「迷惑な」
to be held up で「時間をとられる・引き留められる」
to keep talking on and on で「延々と話し続ける」
ご参考まで!