私のおじいさんは少し耳が遠い、を
My grandfather is a little deaf.とすると少し失礼な表現になりますか?
身内に対して使うならmayuさんの文でも構いませんが、もし他人に使う、またはあまりカジュアルすぎないように言うなら、次のような言い方もできます。
ーMy grandfather is a little hard of hearing.
「祖父は耳が少し遠い」
a little hard of hearing で「耳が少し遠い」
ーMy grandfather's hearing isn't very good.
「祖父の聴力はあまりよくない」
One's hearing isn't very good. という言い方もできます。
ご参考まで!