The way he talks is such that he keeps on diverting from the main point. It is so irritating!
He really doesn't get straight to the point. I can't stand listening to him talk!
ご質問ありがとうございます。
二通り言い方を思いつきましたが、"he keeps on diverting from the main point"とは「彼は主な点から常に離れて行く」と訳せます。または、"get straight to the point"とは「すぐ主な点について答える」という意味になります。
「イライラする」は"It is so irritating"(とてもそれはイライラすることだ)、または、"I can't stand listening to him talk"(彼が話すのを聞いていられない)と訳せます。