Das erscheint mir weit übertrieben, da diese Menschen ja weder ihr durch die Karte erworbenes Wissen noch ihr Landeskunde-Wissen aus der Zeit vor dem Besitz der Karte einfach vergessen können. Vorstellen könnte ich mir, daß sie sich in noch weitgehend unbekanntem Gelände etwas schwerer tun mit der Orientierung, wenn sie sich an den Gebrauch der Karte gewöhnt haben, aber in bereits vorher oder durch die Karte bekanntem Gelände könnte ich den Spielern den plötzlichen Verlust des Wissens ihrer Charaktere nicht glaubhaft machen ("Der See lag östlich der Bergkette" - "Ja, aber das weißt Du jetzt nicht mehr" - "???!!").
Ich würde das so regeln, dass die Fertigkeitswerte in den genannten Fertigkeiten sinken. Das finde ich auch nicht zu hart.
Als Ausgleich würde ich einen ABW einführen und es nicht einfach einem Elementarmeister ermöglichen, seinen Elementar nach belieben zurückzurufen.