1) оперировать придётся интерфейсами а не функциями. Интерфейсы js нужно передать в C++ код, чтобы оттуда с ними работать.
2) описываете на XPIDL интерфейс callback-а:

[scriptable, uuid(...)]
interface ICallBack : nsISupports
{
  void SaySomething(in AString message);
};

,  и метод вашего компонента,  работающий с этим интерфейсом

[scriptable, uuid(...)]
interface IYourComponent : nsISupports
{
  void workWithCallBack(in ICallBack cb);
};

3) на javascript создаёте объект реализующий интерфейс callback-а

var listener = {
  SaySomething : function(message) {
      alert(message)
  }
};

4) пишете C++ код по работе с интерфейсом:

NS_IMETHODIMP СYourComponent::workWithCallBack(ICallBack* cb)
{
   cb->SaySomething(NS_LITERAL_STRING("C++ code is speaking"));
}

что-то типа того, за работоспособность этого кода не ручаюсь, на ходу придумывал, но идея такая.
Ещё можно почитать - http://groups.google.ru/group/netscape. … rt=1&num=3