It could have been worse, but luckily, it was only the car that got damaged and not me.
It could have been worseは、「もっと悪るくなる可能性があった」「もっと最悪になり得た」「もっとひどくなる可能性が高かった」のいった意味です。日本語の「それぐらいで済んでよかった」の表現に近い意味です。
could have beenというのは、could be worse「もっと悪くなる可能性がある」の過去形です。
could have been + (名詞・形容詞)という文法の構造は、そうなる可能性が高かったが結局なり得なかったことを表現したいときに、よく使います。
I could have been a prima ballerina, but I broke my leg and couldn't dance anymore.
私はプリマになる可能性があったが、足の骨を折った所為で踊ることができなくなってしまった。
but luckilyは、「しかし、幸いなことに」の意味です。
it was only the car that got damaged and not meは、「ダメージを受けたのは車だけで、わたしではない」のいった意味です。