「話の終わり」は英語でendではなくendingと言いますので、「バッドエンド」は英語でbad endingと言います。よって、「バッドエンドの小説が好き」はI like books with bad endingsとなります。また、表現をもう少し広くしてI like stories with bad endings(バッドエンドの話が好き)とも言えます。
また「もやもやする」という気持ちはfeel unresolvedあるいはhave no closure(打ち切りがない)と表現できます。
読み終わった後、少しもやもやするような結末の小説が好きです。
↓
I like books that make me feel like I have no closure after reading it.
「バッドエンドの小説が好き」という表現は、
I like novels with unhappy endings.
と表現するのがシンプルで分かりやすいです。
unhappy ending は「不幸な結末」という意味で、日本語の「バッドエンド」のニュアンスをうまく伝えます。
また、sad endings(悲しい結末)という表現も使えます。