Didn't you...とは「あなたは~じゃなかった」という意味です。この表現はカジュアルな言い方なので、友達に対しても、使うことができます。
「飲みに行く」を英語にしたら、"go out to drink" になります。
したがって、"Didn't you go out drinking yesterday" 「昨日飲みに行ってたじゃないですか」
その上、会話も翻訳します。
昨日は楽しかったですか?Was it fun yesterday?
なにが? What was?
昨日飲みにいってたじゃん!Didn't you go out drinking yesterday?