私が小さいんじゃなくて、あなたが大きいんだよって英語でなんて言うの？

おっしゃられている内容は以下のように表現できると思いました(^_^)
I'm not short. You're too tall.
「私は背が低くないよ。あなたが高すぎるんだよ」

身長の低い、高いは、shortやtallを使って表します(^_^)
「大きい」をそのまま訳してbigと言うと、これは普通「太っている」の意味で解釈されます。

以上です。
少しでも参考になれば幸いです(^_^)

★★大阪カフェレッスン英会話講師KOGACHI