I thought we were going to eat dessert at the café.
日本語では疑問になっていますが、英語では疑問としても宣言としても略できます。
Weren't we going to go eat dessert at the café? → 一緒にカフェでデザートを食べるんじゃなかったっけ?(シンプルに「一緒に食べる予定だったのでは?」と聞いています。)
I thought we were going to eat dessert at the café.→ 一緒にカフェでデザートを食べると思っていた。(宣言にはなっているのですが、「その予定はどうなったの?」という質問がニュアンスで伝わります。」)
ちなみに「スイーツ」は、地域によるかもしれませんが、sweetsは「ケーキ・アイスなど」ではなく「飴ちゃん」だと認識している方が多いです。よって、ケーキなどのデザート系であればdessertの方が伝わります。