この場合、次のような言い方ができます。
A: There are so many nice beaches where I live, but I can't swim.
「私の住んでいるところにはとても綺麗な浜がたくさんあるけど、泳げないんだよね」
B: That's kind of a shame, isn't it?
「それは残念だね」
shame「残念なこと・気の毒なこと」
または次のようにも言えます。
ーThat's disappointing, isn't it?
disappointing で「残念な・思わしくない」
ご参考まで!