閑人とはもともと "man of leisure" と言われていますが現在は "person of leisure" のほうは普通です。だって、男だけじゃなくて、女の人も閑人になれますね。
"leisure" の意味は「暇」ですが、楽しいと言うニュアンスもあります。"person of leisure" はのんびりできる、楽しめる暇のある人です。
その反面、"idle" と言うのも「暇」ですが、ネガティブなニュアンスもついています。"idle person" と言うと懶惰な人のイメージです。
"idler" は一応辞書に書いてありますが、中々昔の言葉の気がしますので使っている人はいれば少ないと思います。
He is a man of leisure. / He is a person of leisure.
彼は閑人です。(ニュアンス:悪くてはない)
He is idle. / He's an idle person. / He's an idler.
彼は暇です。 (ニュアンス:悪い)