Деревня Вайя (или Вайа) уже в XI в. была селением, где жили люди, охранявшие границы. Согласно семейным преданиям, строительство крепостного замка в 1418 г. начал некий Абрахам Ваи, который в том же году получил от короля Жигмон- да (1368—1437) герб и «право жизни и смерти». Но первые письменные упоминания о крепости относятся к более поздним временам. Исследования показали, что главное здание было построено в основном в XVI в. Соединяющие помещения двери, а также окна выложены каменным орнаментом. В середине XVII в. другой представитель рода — Петер Ваи возвел своды над подвалом, первым и вторым этажами, затем дополнил замок
северной угловой башней. Оборудованную бойницами южную башню построили в начале XVIII в. со стратегическими целями. В середине XIX в. семья Ваи восстановила разрушавшееся здание, перестроила его в раннем романтическом стиле. Они поменяли оконные рамы на фасаде на стрельчатые. На пороге века здание было дополнено новыми, резными деревянными лестницами, кассетными полами и так называемыми фресками зала Ракоци. По заказу графа Адама Ваи картину в 1896 г. написал Ференц Лор. На ней изображен фрагмент битвы при Никополе, когда Титус Ваи спасает жизнь короля Жигмонда.