身体あんまり強くないのでやめときますって英語でなんて言うの？

"be strongly built" "be strong in body" はどちらも「体が強い/丈夫である」ということを表します。 ここでの "that" は「それほど」という意味で、"be not that 〜" で「それほど〜ない」となります。 "so" は「だから、なので、よって」という表現です。 "pass" はここでは「やめておく、遠慮する」という意味になります。