I was (seriously) thinking whether I should have majored English or Chinese at that time.
「~するかどうか」というのは、他のアンカーの方も回答されている通り if でもOKですし、whetherでもOKです。 ただ、「~するかどうかわからない」I don't know whether I'll do it or not の or not が付くのは whether だけです。 英語は文法において正しくという考えですが、英会話においてはそこまで心配する必要はありませんよ。
さて、前文のI was (seriously) thinking で「真剣に考えてた」という過去進行形を使います。
whetherの後文は、「真剣に考えてた」時点の “前から” 専攻をどちらにしようか考えているはずなので、本当でしたら過去完了形を使用するのですが、should がきているので should had という言葉がなく、「should have 過去分詞」で「~すべきだった」と過去形っぽく使う事が出来ます。
専攻するという動詞は major ですので、「I should have majored 科目」で「科目を専攻すべきだった」かどうか (whether) という事を真剣に考えてた・・・という表現になります。 at that time は「その時」という崩せないフレーズですので覚えておくと便利ですね。
お役にたてば幸いです☆