Oddane we władanie biskupów warmińskich terytorium obejmowało wschodnią część plemienną Pogezanii, środkową Warmię i zachodnią Barcję oraz na południowym wschodzie - skrawek Galindii. Był to obszar zamykający się w trójkącie: okolice Braniewa nad Zalewem Wiślanym - Reszel na wschodzie - źródła Łyny na południu. Z czasem teren władztwa biskupów zaczęto nazywać Warmią. Biskupi z podległego im terytorium wydzielili sukcesywnie ziemskie uposażenie kapituły katedralnej, która w granicach swych włości miała suwerenną władzę ziemską i sądową.
Lidzbark pozostał w biskupiej części dominium, gdzie planowa kolonizację rozpoczęto na początku XIV w. Lidzbark otrzymał przywileje miejskie na prawie chełmińskim od biskupa Eberharda z Nysy.
Ukształtował się przestrzenny związek zamku i przyszłego miasta, na dwóch jakby przeciwległych sobie półwyspach: zamek między Łyną a Symsarną i miasto w ciasnym zakolu Łyny.
Tuż po połowie XIV w. podjęto wznoszenie pierścienia murów obronnych, z bramami i basztami. Od wschodu, południa i częściowo zachodu naturalną osłonę dawała Łyna. Mury na tych odcinkach były słabe, w dużej części tylko osłonowe. Od północy, gdzie przedpole pozostawało zupełnie otwarte, mur wzmocniony był większym zagęszczeniem baszt; poprzedzony był ponadto szeroką, sucha fosą.
Do miasta wiodły trzy bramy: od północnego wschodu Młyńska, od północnego zachodu Wysoka i od południowego zachodu Kościelna oraz furtka zwana Zamkową, znajdująca się po stronie południowej obok kościoła.

Rozwój miasta i ożywienie ruchu budowlanego nastąpiły po obraniu przez Jana z Miśni tutejszego zamku na stałą siedzibę biskupów. Tutaj skupiła się centralna administracja biskupstwa, stanowiono prawa, odbywano sądy; tutaj kwitło życie kulturalne i dyplomatyczne, funkcjonowała szkoła. W czerwcu 1440 r. Lidzbark przystąpił do Związku Pruskiego. Na zjeździe w Elblągu lidzbarszczanie uznali władzę króla polskiego, Kazimierza Jagiellończyka, który wypowiedział wojnę Krzyżakom. W czasie wojny trzynastoletniej na zamku stacjonowały zaciężne wojska czeskie, pozostające w służbie polskiej.

Na mocy traktatu toruńskiego w 1466 r. Prusy Królewskie i Warmia zostały trwale włączone do Korony. Warmia zachowała swój dotychczasowy bardzo korzystny status publiczno-prawny. Biskupstwo warmińskie obdarzone zostało fotelem senatorskim.

Na początku XVII w. biskup Szyszkowski założył ogrody na gruntach przyzamkowego folwarku, na południowy zachód od miasta. Stanął tam pawilon wypoczynkowy, a później na jego miejscu wybudowano piętrowy pałac. 25 marca 1698 r. spłonęła wieża i dach kościoła. Pod patronatem biskupa Potockiego odbudowano kościół, który otrzymał nowy barokowy hełm wieży.