If you still have books from the library, I can’t sign this document.
If you are still borrowing books from the library, I can’t sign this document.
書かれている文章でも十分通じると思います。
ただ会話としては、unreturned books よりは、
If you still have books from the library 〜 =「図書館からの本をまだあなたが持っているなら」
If you are still borrowing books from the library 〜 =「図書館からの本をまだあなたが借りているなら」
という方がしっくりくるかなと思いました。
また
I will not sign this document. =私は書類にサインしません。
I can’t sign this document. =私は書類にサインできません。
前者は明確な自分の意思があり、後者は私の意思に関わらず、ルールでしてはいけないことになっているのですというニュアンスになります。