Pierwsze wzmianki o grodzie na tym terenie sięgają XI wieku, ale murowaną warownię wzniósł książę Mazowiecki dopiero na przełomie XIV i XV wieku.