When I can't make myself understood in English, that's when I feel the most frustrated.
I feel the most irritated when I speak English and I'm not able to get my point across.
ーWhen I can't make myself understood in English, that's when I feel the most frustrated.
「英語で意思疎通ができないときが一番辛い。」
make oneself understood で「自分の言葉（考え）をわからせる・意思疎通する・意味が伝わる」
この場合の「一番辛い」は feel the most frustrated と言えると思います。
ーI feel the most irritated when I speak English and I'm not able to get my point across.
「英語で人にわかってもらえないときが、一番辛い。」
get one's point across で「自分の言いたいことを人にわかってもらう・言いたいことを伝える」
feel the most irritated で「一番辛い」と言うこともできます。
ご参考まで！
"The hardest part for me is when my English doesn't come across."
"The hardest part for me is when my English doesn't come across."
「一番難しいのは、私の英語が伝わらないときです。」
"It's really tough when I can't communicate effectively in English."
「英語で効果的にコミュニケーションが取れない時が本当に辛いです。」
カナダ 
アメリカ合衆国 
