先ほど取り外したピンを挿入する。って英語でなんて言うの？

先ほど取り外したピンを...に挿入する。

---に...を挿入する: insert ... in/into ---.

...の部分をただのピンではなく「先ほど取り外したピン」
とするために関係詞thatを使います。
The pin that was previously removed
(直訳は 以前に取り外されたピン)
Previously; 前に、以前に
Remove; 取り外す、取り除く