Sorry for the last minute schedule change, but I've got an oral exam on Saturday afternoon.
last minute/last-minute で、「直前の、間際の、土壇場の」という意味です。
Sorry for the last minute schedule change で、「直前のスケージュル変更でごめんなさい」という意味になります。
質問者さんの状況は、土曜日の午後に急に口頭試験の予定が入ったので、相手の方との予定を変更しなければならなくなった、ということだと思いましたので、このようにしました。
口頭試験は oral exam(ination) で表現できます。
ただ単に「午前中に」「午後に」という場合は、in the morning, in the afternoon となり in を用いますが、「日曜日の午後に」などの特定の日の午後や午前の場合には、on を使います。
お役に立てれば幸いです。