「話の長い人を振り払って帰りたいんだけど」は直訳すると"I want to stop talking after a while and go home."になります。
相手が上司ですから簡単に言えませんので丁寧に言いたいなら"I'm sorry, but I have to get going."を表現できます。
"I'm sorry, but I have to get going."=「すみませんがちょっと行かなければいけないんですけれど。」英語では丁寧の表現です。
ご参考になれば幸いです。