この場合、次のような言い方ができますよ。
ーWhen I see a volume of books that aren't in the right order, I can't help but fix them.
「何巻もある本が順番に並んでないと、つい直したくなる」
I can't help but fix them. で「つい直したくなる」と言えます。
または次のような言い方もできます。
ーI can't control my urge to rearrange them. 「並び直したいという衝動をコントロールできない」
ご参考まで!