I have very little free time (waiting around) at work.
ーI only have a little down time when I'm working.
「作業をしている時、一息入れる時間が少しだけしかない。」
down time は「休止時間・休憩時間・一息入れる時間」
ーI have very little free time (waiting around) at work.
「仕事場で(のんびり待てる）空き時間がほんの少ししかない。」
free time で「空き時間・自由時間」
「待ち時間」と言いたいなら waiting around を入れたら良いかなと思います。
ご参考まで！
カナダ 
