あなたをイライラさせてしまっていると思いますって英語でなんて言うの？

『イライラ』を表現するほかの言葉に"upset"や"annoyed"などもありますが、この場合は"frustrated"が一番適切だと思います。
"upset"は、ガッカリ寄りのイライラ、"annoyed"はウザいと感じてイライラ、"frustrated”はもやもやしてイライラという印象です。

"I know..."と"I hope you're not..."の違いですが、前者の方が深刻度が高いです。

時と場合にもよりますが、英語は日本語に比べてストレートな表現の方がうまく伝わったりしますよね。
自信もっていきましょう;)

誰かを「annoy」することは「イライラさせる」と同じことです。動詞の形で「They annoy her」とか「You are annoying me」とか「Am I annoying you?」と言えます。形容詞の形で「You are annoying」とか「Am I an annoying person?」と言いえます。

そのうえ、「nuisance」は「イライラさせる人・こと」と言う意味です。使い方として、「You are a nuisance」とか「Am I being a nuisance?」とか言えます。「annoy」と「nuisance」は同じラテン語の言葉から由来したような気がします。