The boss before last was the worst, so the boss after him seemed like the best boss ever.
My last boss seemed like the best boss ever, in comparison to the terrible one I had before him.
「前の前の上司」は「the boss before last」か「two bosses ago」
そのあとに「前の上司」を「my last boss」と言ったら、相手はちょっと混乱しちゃうかもしれません。そのかわりに「the boss after him」と言ったらはっきり通じると思います。
ところで、「前の前の」の英訳は「last last」とかは言いません。