どちらのフレーズも似たような意味です。
「とっさの思いつきで、きまぐれで、その場のはずみで、勢いに任せて、衝動的に」そんなニュアンスになります。
A:How come you bought something like this?(なんでこんなもの買ったの?)
B:It was just on a whim.(なんとなく思いつきで)
It's not like I did it on a whim.(思いつきでそんなことしたってわけじゃありませんよ。)
Some people get married on a stupid whim.(勢い任せで結婚してしまう人たちもいます。)