Когда ты запускал ярлык - ты запускал firefoxportable.exe, который сам не появляется на панели задач, а запускает firefox.exe, который ты уже и видишь на панели задач.
Когда ты закреплял лису на панели задач - то ты закреплял firefox.exe, а не firefoxportable.exe.
Запуская браузер таким образом - он запускается не в портабельном режиме, и использует профиль расположенный в "%APPDATA%\Mozilla\Firefox\Profiles" (вернее сначала проверяет там наличие, и если ничего не найдено - то создаёт там новый профиль), вместо "%path_to_portable_firefox%\data\profile".

Советую также прочитать всё, что я написал вот здесь.

Запуская [firefox] таким образом, Вы теряете "портабельность" - т.е. [firefox] использует профиль не из папки \FirefoxPortable\Data, а профиль из папки %APPDATA%.

Возможно, такое поведение из-за назначения portable версии браузером по умолчанию. Если portable брали с portableapps.com, то можете попробовать программку FF-SetDefault.exe - она правильней назначит ассоциации с портативной версией FF и тогда, возможно, из панели задач будет нормально запускаться.