I thought I was annoying you because I can’t communicate well in English.
I was wondering if I was being a nuisance to you because my English isn’t that good.
誰かを「annoy」することは「イライラさせる」と同じことです。動詞の形で「They annoy her」とか「You are annoying me」とか「Am I annoying you?」と言えます。形容詞の形で「You are annoying」とか「Am I an annoying person?」と言いえます。
そのうえ、「nuisance」は「イライラさせる人・こと」と言う意味です。使い方として、「You are a nuisance」とか「Am I being a nuisance?」とか言えます。「annoy」と「nuisance」は同じラテン語の言葉から由来したような気がします。