この場合、次のような言い方ができますよ。
ーThat's not what you promised me!
「あなたが私に約束したことと違うじゃない！」
to promise「約束する」という動詞を使った言い方です。
ーThat's not the promise you made!
「あなたの約束と違うじゃない！」
promise「約束」という名詞を使った言い方です。
ご参考まで！
こんにちは！
ご質問ありがとうございます。
ご質問について、例えば過去にだれかと話をしてその時にお互いが同意したことについて、言うのであれば、
That's not what we agreed upon!
直訳すると『それは私たちが同意したことではありません』となりますが、『約束が違うじゃない！』というニュアンスで伝えられます。また、少し変えて、
That was different from what we talked about.
とすると、同じような意味ですがもう少しカジュアルな感じで伝えられます。
自分と約束をした人が、約束を守らなかった場合には、
That's not what you promised!
として、『それはあなたが約束したことと違う！』とするのはいかがでしょうか。
参考になれば幸いです。
ご質問ありがとうございます。
この場合、「[約束](https://eikaiwa.dmm.com/uknow/questions/52247/)が違うじゃない！」はカジュアルな言い方で「that's not even close to what you promised.」と言います。
カジュアルな言い方以外、別の言い方を使いたいなら、「that's not what you promised」で十分です。
ご参考になれば幸いです。
カナダ 
日本 
アメリカ合衆国 
