私なら I'm only wearing one (other) layer underneath を使うと思います。
A: Aren't you hot? 暑くないの?
B: Nope. I'm only wearing one other layer underneath, so I'm not hot. 暑くないよ! 中には一枚しか着ていないから。
I’m only wearing a … underneath も大丈夫だと思います。
例えば、
A: Aren’t you hot?
B: Nope. I’m only wearing a short sleeve T shirt underneath, so I’m not hot.
補足
英語だと、上着の「下」になるので、「中」とは言いません。