It annoyed me=イラっとした
Annoyが一番適切な言葉です。
It annoys me, That's annoying, I find it annoyingなど色んな使い方があります。
It hit a nerve=何か気に障る
Nerveは神経です。「神経に障る」と言ったところでしょうか。
It rubbed me the wrong way=悪気は無いんだろうけど、嫌な感じ
Rubは「擦る」と言う意味です。イラっとさせてる張本人は悪気はなくても周りが不快に思う時に使う表現です。