もっともシンプルな言い方であれば I was sad to leave と言います。
It made me sad to leave と言うと意味的には同じですが、帰ることが自分を寂しくさせた、と言うニュアンスになります。他の言い方であれば The thought of leaving made me sad （帰ることを考えたら寂しくなった）と言いますがこちらは帰るときではなくて数日前とか、いずれは帰らないといけないとわかっている時に、帰らないといけない時のことを考えて寂しくなると言う感じになります。
例：
I had so much fun on this trip that I was sad to leave.
この旅行はとても楽しかったので帰るのが寂しかったです。
どうぞご参考に。
日本 
