身内に対して使うならmayuさんの文でも構いませんが、もし他人に使う、またはあまりカジュアルすぎないように言うなら、次のような言い方もできます。
ーMy grandfather is a little hard of hearing.
「祖父は耳が少し遠い」
a little hard of hearing で「耳が少し遠い」
ーMy grandfather's hearing isn't very good.
「祖父の聴力はあまりよくない」
One's hearing isn't very good. という言い方もできます。
ご参考まで!