プライベートは確かに「私的な」「非公開の」ほか色々な意味があるので、よく日常的に使われます。
例：
I want to meet you in private next time. 次はプライベートで（個人的に）あなたに会いたい。
This is a private party. これは非公開の（特定の人しか入れない）パーティだ。
ただ、決して My private is~ というような使い方はしないようご注意ください。private(s) は「プライベートパート（つまり陰部）」を意味するので、文脈によってはとても微妙な空気になると思います（笑）
この場合は、「（仕事などしていない）空き時間」という意味だと思いますので、free time の方がいいと思います。
What do you usually do in your free time?
空き時間は大体何していますか？
How do you spend your free time?
空き時間はどのように過ごしますか？
この場合、次のような言い方ができますよ。
ーWhat do you like to do in your private time?
「プライベートでは何をするのが好きですか？」
in one's private time で「プライベートの時間に」
ーWhat do you enjoy doing in your down time?
「プライベートでは何をして楽しみますか？」
in one's down time「働いていない時」＝「プライベートの時」とも言えますね。
ご参考まで！
日本 
カナダ 
