こんにちは！
ご質問ありがとうございます。
ご質問について、『私の点数はあなたのよりもひどい』というニュアンスであれば、My score is lower than yours. と言ってもOKです！
少し変えて
Don’t worry! My score is worse than you think.
とすると、『安心して、あなたが思うよりも私の点はひどいから。。。』とも言えますね！
役に立ちそうな単語とフレーズ
test score テストの点数・成績
参考になれば幸いです。
Don't sweat it, I got an even lower grade/mark than you.
この場合、次のような言い方ができますよ。
ーDon't worry, I did worse than you.
「心配しないで、私の方がひどいから」
I'm worse ... と言うより、I did worse ... と言ったほうが自然な感じになります。
ーDon't sweat it, I got an even lower grade than you.
「心配することないよ、私のほうがもっと低い点取ったから」
Don't sweat it. で「心配することないよ・気にしないで」
テストの点数などは grade や mark を使って言えます。
ご参考まで！
日本 
カナダ 
