Точнее закрывается, но в диспетчере задач процесс висит и ест ресурсы, и соответственно, при попытке запуска, пишет, что FF уже запущен.
Такое бывает не каждый раз, но часто. Что делать?

Это извечная болезнь firefox. Лечится только так видимо https://forum.mozilla-russia.org/viewtopic.php?id=35976

А нельзя, чтобы после закрытия его выгружало с помощью подобной строки?

Одна из возможных причин незакрывающегося Firefox'a - AdBlock Plus.