If you hear someone speak with an American accent, do you secretly get annoyed?
"If you hear someone"=「もしあなたが誰かを聞いたら」
"speak with an American accent"=「アメリカ英語の発音で話すのを」
"do you secretly get annoyed?"=「密かにあなたはイライラしますか?」
★または、"do you secretly get annoyed with that?" というふうに"with that" (それに関して)を付け加えてもいいと思います。