Перші згадування про Ужгород з'явилися до третього сторіччя, коли на територію області прийшли кочові племена білих хорватів. А перші згадування про замок з'явилися до дев'ятого сторіччя, як про зміцнювальну споруду на одному з пагорбів над поселенням білих хорватів, під час правління князя Лаборца. На той час замок мав вигляд дерев'яної споруди. У дев'ятому столітті замок був спалений угорськими племенами. Після цього адміністративний центр перейшов у Горяни (поселення на околицях Ужгорода).

Великою сірою масою височів над древнім Ужгородом замок. Це коштовний пам'ятник середньовічної воєнно-оборонної архітектури, стоїть на східному укосі вулканічної сопки, розташованої поперек долини Ужу.

Висота замкової гори більше 30 метрів. Протягом століть замок неодноразово перебудовувався й реконструювався, тому що цього вимагали військові умови. Найбільш сильні зміни замок переніс із появою вогнепальної зброї й до кінця 16 сторіччя в основному одержав сьогоднішній вид, про це свідчать дати вибиті в декількох місцях. Однак багато архітектурних деталей ставляться до більш ранніх періодів. Воєнно-оборонна система замка дуже проста, і в той ж час сильна й показова. Із трьох сторін міцно оточує рів, вирубаний у скелі, із четвертої сторони, північно-східної - стрімкі скелі. Ширина рову 15 - 20 метрів, глибина 5 - 10. Замок має форму неправильного чотирикутника з бастіонами на кутах, обнесений кріпосною стіною. Кріпосні спорудження займають площу 2,5 гектари і садиба — 6 гектарів. Більш квадратні бастіони небагато виступають вперед, це давало можливість вести вогонь вздовж кріпосних стін.

На бастіонах перебувала артилерія яка тримала під обстрілом підступи до замка. Кладка стін кам'яна, і тільки місцями видно пролами, що закладені цеглою - сліди колишніх боїв. Кути бастіонів викладені більшими блоками з білого каменю. Кріпосні стіни не штукатурені. Висота бастіонів 10 -15 метрів. При під'їзді зліва зберігся камін біля якого грілися вартові воріт. На стелі видно прорізи через які захисники замка обливали ворога смолою й окропом. На внутрішній арці під'їзду видно одну з дат перебудови споруди - 1658 рік. Праворуч біля підніжжя арки лежить камінь із круглим поглибленням по середині, у ньому гасили свої смолоскипи, гості що прибули вночі. Напроти в'їзних воріт перебуває масивний будинок головного кріпосного корпуса. В оборонній системі замка головний корпус займав домінуюче положення. Масивний будинок, що був замкнутий з усіх боків має внутрішній дворик. Головний корпус служив резиденцією власників замка. У внутрішньому дворику є колодязь вирубаний у скелі, глибиною більше 30 метрів. Товщина стін досягає 2,5 - 3 метрів.

У головному корпусі є величезні підвали, які у свій час служили схованками й складами для цивільних жителів замка під час облог. Тут є темниця й камера катувань. У закінченому виді головний корпус являє собою трьох поверховий будинок у стилі ренесанс. В 1728 році замок сильно постраждав від пожежі й майже десять років був занедбаний. Пізніше третій поверх так і не був відбудований. Залишки його стін можна побачити під дахом.

Вперше в літописах замок зустрічається в 903 році, як резиденція князя Лаборца, що загинув при узятті замка кочовими племенами угорських племен. Укріплення нібито було першою фортецею, взятою угорцями після вторгнення на придунайську рівнину в пошуках нової вітчизни. Літопис описує мужнього слов'янського князя Лаборця. Дружина князя зазнала поразки від угорців, фортецю було взято, а сам Лаборець був убитий у східній Словаччині біля річки, яка тепер зветься Лаборець. У річку Лаборець впадає Уж. Тоді замок мав велике стратегічне значення, це була прикордонна споруда. Замок був адміністративним центром Ужгородського воєводства, а пізніше всієї Ужанской долини. В 1086 році замок взяв в облогу половецький хан Кутеск, але зазнав поразки. Про це сказано у Віденській хроніці.

У кінці XIII — на початку XIV століття розпочинається будівництво кам'яної фортеці. Можливо, саме тоді на подвір'ї замку збудовано церкву, фундамент зберігся донині. Принаймні, у документі 1284 р. згадується священик цього храму Штефан.

В 1301 році вимерла перша угорська династія Арпадовичей. В Угорщині розпочалися довгі міжусобні війни. Зрештою престол зайняв Карл-Роберт із неаполітанської династії Анжу. Проти нового короля на Закарпатті спалахнуло повстання. Після тривалого конфлікту, який продовжувався майже десять років, в 1322 був узятий останній захист повстанців - Невицький замок. Новий король подарував замок роду Другетів, що володів замком 350 років (1322— 1691 pp.). При них стара частина міста отримала теперішній вид.

Графиня Ганна Другет активно долучилася до укладення унії православної церкви з католицькою 1646 року. У 1678—1685 pp. молодий магнат Імре Текелі очолив антигабсбурзьке й протикатолицьке повстання. Його війська брали замок 1679 і 1684 року, частково зруйнувавши його. 14 квітня 1684 року в місті Кошиці (Словаччина) повсталі повісили одного з останніх володарів фортеці династії Другетів — Жигмонда Другета. Але наступного року австрійські війська навели лад. Новим правителем Ужанського комітату і власником Ужгородського замку став полковник Міклош Верчені, взявши за дружину Христину Другет. Вулиці Другетів і Верчені досі сходяться в одній із центральних точок старого міста.

Другети зробили великий внесок у культурний і духовний розвиток міста. Протягом століть фортеця розбудовувалася і укріплювалася. У 1598 р. було збудовано головну будівлю замку — палац. Над в'їзною брамою вибито дату — 1598 рік, над датою зображено чотирьох дроздів—родовий герб Другетів. У 1653 р. були укріплені зовнішні мури, 1658 р. — збудовано головну браму, про що свідчить напис над вхідною аркою "А.О. 1658". Мабуть, тоді ж споруджено з лівого боку під'їзду відкритий камін, біля якого грілася варта. Із правого боку, біля основи внутрішньої арки, є великий камінь з висіченою у ньому ямкою, де гасили смолоскипи. Другети також принесли із собою католицизм, і в 1646 р. у цій церкві було прийнято Ужгородську унію (у 1996 р. у замку відбулися великі урочистості з нагоди ювілею унії).

Наприкінці XVI століття замок остаточно набуває сучасного вигляду. Замок налічував 511 військових, 30 знарядь різного калібру на бастіонах і сорок гармат, що зберігалися в арсеналі. І близько 100 центнерів запальних речовин і більше 1000 ядер. В епоху народних повстань у кінці 17 століття замок часто переходив з рук у руки й сильно постраждав.

Рід Другетов завершив існування на Христині Другет. 15 березня 1704 року після останнього повстання, і тривалої облоги яка тривала більше напівроку замок був узятий Ференцем Ракоци 2. Навесні 1711 року після восьмилітньої боротьби повстання було придушено і замок здався військам імператора Йосифа 1. Замок втратив своє стратегічне значення, і в 1775 році імператриця Марія Тереза подарувала Ужгородський замок Мукачевський уніатській єпархії, що відкрила там духовну семінарію.