一般的には、ラグビー選手のことを英語で「Rugby player」と言い、「元ラグビー選手」は「former Rugby player」と言います。しかし、あまり使われていない表現ですが、ラグビー選手は「Rugger」とも言いますので、「元ラグビー選手」は「former Rugger」と言えます。
「ラガーマン = Rugger man」は和製英語っぽいです。
例:
昔、プロ・ラグビーやってたラガーマン
He's a former Rugger who used to play professional Rugby.
日本では元ラグビー選手をラガーマンって言います。
In Japan, a former Rugby player is called a "Rugger man".
お役に立てば幸いです。