ご質問ありがとうございます。
確かに"harsh environment"が良いのではないかと思います。
ちなみに、environmentは大抵、不可算名詞なので複数形の "s" を付けません。
"field"は「業界」という意味もあるので (例文 "The music industry is a tough field to work in")この文脈では使わないかもしれません。
ただ、土のコンディションが物理的に開拓しにくい、などでしたら"field"を使うのもありだと思います。
ご参考に。