You're going in the opposite direction I'm going in.
You're going the other way.
この場合、次のような言い方ができますよ。
ーYou're going in the opposite direction I'm going in.
「あなたは私が行くのと反対の方向に行くんですね」
to go in the opposite direction で「反対の方向に行く」と言えます。
ーYou're going the other way.
「あなたは反対の方に行くんですね」
to go the other way で「反対側・反対の方に行く」とも言えます。
ご参考まで!