この場合、次のような言い方ができますよ。
ーWhen I see a volume of books that aren't in the right order, I can't help but fix them.
「何巻もある本が順番に並んでないと、つい直したくなる」
I can't help but fix them. で「つい直したくなる」と言えます。
または次のような言い方もできます。
ーI can't control my urge to rearrange them. 「並び直したいという衝動をコントロールできない」
ご参考まで!
I feel the urge to fix them if they aren't in order.
I feel the urge to fix them if they aren't in order.
I can't help but rearrange them when they are out of sequence.
「順番に並んでいない」ことは in order(順番通り)を否定して not in order と言ったり、out of sequence(順序が狂っている)と表現します。