eyesoreは「見た目に嫌なもの」という意味で
見かけだけに使います。
He's an eyesore.
(彼は目障りだ)
という場合も外見が目障りな時だけ使います。
earsoreは「耳障りな音」という意味です。
The music is an earsore
(その音楽は耳障りだ)
両方の単語とも
eye(目)+sore（痛み）＝目障りな物
ear(耳)+sore(痛み)＝耳障りな物
と考えると理解しやすいですね。
何かの参考になれば幸いです。
「目障り」は一言の英語があります（an eyesore) が、「耳障り」の earsore はあまり使いません。hard on the eyes の方はちょっと長いけど、自然です。
「目に苦しい」「耳に苦しい」というイメージがある表現です。be 動詞と一緒にペアします。
Her voice is hard on the ears.
彼女の声は耳障り。
That coat is hard on the eyes.
そのコートは醜い。（目障り）
Those ads are an eyesore・That ad is an eyesore
その広告は目障りだ
Was there anything that was unpleasant to look at?
何かお目に障りましたか
英語で、耳障りとしてearsoreと言ったら、意味が分かりますが、ネイティブ的に間違っています。Harshやunpleasantと言います。
Harsh-sounding
耳障りな音のする
A grating voice
A harsh and unpleasant voice
耳障りな声
ご参考になれば幸いです。
日本 
アメリカ合衆国 
