I also have to pay close attention to listening to the English of native speakers.
こんにちは!
ご質問ありがとうございます。
ご質問について、いくつか言い方が考えられますが、例えば、
I know it might take some concentration to listen to my poor English, but I also have to pay close attention to listening to the English of native speakers.
として、『私の拙い英語を聞くのには集中力を必要とするかもしれませんが、私もネイティブスピーカーの英語を聞き取るのに細心の注意を払っています。』するのはいかがでしょうか。
少し変えて、
I know my English might be a bit tough to listen to, but I also struggle to keep up with native speakers sometimes.
とすると、『私の英語を聞き取るのは少し大変かもしれませんが、私もネイティブスピーカーについてくことに時々四苦八苦しています。』とも言えますね!
役に立ちそうな単語とフレーズ
take concentration 集中力を必要とする
参考になれば幸いです。