その日= that day
となりますが、以下のような答え方だと自然になると思います。
先生:I was playing soccer on Wednesday, how about you?=私は[水曜日](https://eikaiwa.dmm.com/uknow/questions/31158/)に[サッカー](https://eikaiwa.dmm.com/uknow/questions/30173/)をしていました。あなたは?
回答:Oh, that sounds nice! Actually, I had no plan that day so I spent the whole day relaxing at home.=いいですね!実は、私は特に予定がなかったので一日中家でゆっくりしていました。
「その日」というのは that day で言えます。
「先週の水曜は[サッカー](https://eikaiwa.dmm.com/uknow/questions/30173/)をした」は I played soccer on Wednesday of last week で表現できます。
「その日は私は家で[ゆったり](https://eikaiwa.dmm.com/uknow/questions/74672/)しました」は On that day I relaxed at home で言えます。
参考になれば幸いです。