悪くは言われない。って英語でなんて言うの？

Nobody ever told me bad things.
これまで私に悪いことを言ってきた人はいない。

「悪くは言われない」だけを訳すとこんな感じだと思います。
今回のような例の場合は、あえて直球に言った方が軽いジョークに聞こえてよい気がします。

Nobody ever told me I'm ugly, so don't worry about that.
これまでブサイクだと誰かに言われたことはないんで、その辺は心配しないで。

ただ、個人的には結局会うのであれば、そのジョークを言う方がハードルが上がってしまうようにも思います。
最近はネット上やメールからの出会いも多くなっていますから、会うと決めた段階で、別の話題の時にさりげなくお互いの顔が写っている写真を交換しておく方が案外すんなり行くときいています（趣味の話だったり、旅行に行った時の話だったり）。会うつもりがないのであれば個人情報は出さないのがベストですが。