日本語の通りにfaster/slowerを使わなく、上げる・下げるという表現を使いますね。
ですので、lower the speed limit (制限速度を遅くする) raise the speed limit (制限速度を速くする)と言います。
例えば、
They are discussing whether to lower the speed limit in this area.
この地域で制限速度を遅くすることについて議論されている。
ちなみに、大体一つの制限速度の話なので、複数の地域での制限速度についてじゃなければ単数形のthe speed limitを使います。
ご参考になれば幸いです。