「話の終わり」は英語でendではなくendingと言いますので、「バッドエンド」は英語でbad endingと言います。よって、「バッドエンドの小説が好き」はI like books with bad endingsとなります。また、表現をもう少し広くしてI like stories with bad endings(バッドエンドの話が好き)とも言えます。
また「もやもやする」という気持ちはfeel unresolvedあるいはhave no closure(打ち切りがない)と表現できます。
読み終わった後、少しもやもやするような結末の小説が好きです。
↓
I like books that make me feel like I have no closure after reading it.