thinking back fondly on the pastは直訳すると、「過去のことを懐かしく思う」といった意味になります。
fondlyは、「愛情をこめて～」「かわいがって」といった意味です。「好きな」「優しい｣を意味するfondという動詞の副詞形です。ほかに、look fondly at＝「いとおしそうに～見る」や smile fondly at＝「優しく微笑みかける」などのような組み合わせでもよく使われます。
She often speaks fondly of the childhood.
彼女はよく自分が子供だったころのことをいとおしげに語る。
think back onは、「思う｣を意味するthinkといった動詞と、「後ろ」を意味するbackといった前置詞と、「上」を意味するonといった前置詞を組み合わせてできたイディオムです。日本語に訳すと、「～を振り返る」「～を思い出す」「～について思い返す」などのような意味になります。
I have a bad habit of thinking back on what someone has said to me.
私は、人から言われたことを思い出したりするという悪いクセがある。
ポーランド 
