「見捨てる」というのがどういう状況かはわかりませんが、通常はabandonでよいと思います。
質問者様は「~と思うと怖い」と書かれていますが、ニュアンス的には「~だったらどうしよう」という気持ちだと思いましたので、
What if...?
の形を使って訳出してみました。What if...?は「~だったらどうしよう、どうなるんだろう」という意味のフレーズで、シンプルで使いやすい表現だと思います。後ろには、基本的なif節の表現を使うだけです。
What if they abandon me?
(彼らが私を見捨てたらどうしよう。)
もし恋愛に関する話であれば、
What if he dumps me?
(彼が私を捨てたら(フッたら)どうなるんだろう。)
と言うことができますよ。
参考になれば幸いです。