Крепост Лютица се намира западно от Ивайловград , върху висок заоблен връх, доминиращ над околния терен. Крепостните стени са запазени по цялото си протежение почти до своята първоначална височина и ограждат площ 14 хил. м2. Те са изградени от обработени от лицевата страна камъни, споени с бял хоросан, а пълнежът в средната е от ломени камъни и хоросан. Дебелината на крепостните стени е 1,75 м, а височината им — около 10 м. Стената завършва с бойна площадка, запазена почти по цялото и протежение. Тя е широка 0,9 м, а пред нея стената продължава на височина до 1,2 м, след което започват бойниците.
С нарастването на изискванията за сигурност се увеличава броят на кулите по протежението на крепостните стени. Особено добре това личи при Лютица — броят на кулите при нея е 12, като 9 от тях са запазени почти до първоначалната си височина. Повечето от тях са с правоъгълен план, но има и по една полукръгла, осемстенна и трапецовидна кула. Те са били триетажни, като третият етаж е бил бойна площадка и е завършвал със зъбери. Освен за водене на бой южните кули са използвани и за живеене, а приземните етажи на северните — за водохранилища. Това личи от наличието на дебела хидрофобна замазка на стените и пода им, както и от начина на изкачване в горните етажи — това е ставало по външни каменни стълби, долепени и конструктивно свързани с крепостната стена между кулите.
Неравният терен вътре в крепостта маркира основи на сгради, но поради липсата на археологически разкопки не може да се каже нищо за тяхното предназначение. В южната част на крепостта има голям изкоп — 12 х 6 м и дълбочина 4 м, който вероятно е бил водохранилище.
В сегашния си вид Лютица вероятно е построена, както и много други родопски крепости, в края на XII и началото на XIII в. при управлението на цар Калоян. Но крепостта очевидно е съществувала и по-рано. В епископските списъци от времето на император Лъв VI Мъдри (886—912 г.) и от времето на Константин VII Багренородни от около 940 г. между епископиите в епархия Тракия под ведомството на Пловдивския митрополит е спадала и епископията Лютица. Тъй като това име е чисто славянобългарско, построяването на крепостта трябва да се датира в епохата на Първата българска държава, като това не изключва наличието и на по-ранни строежи.
Името на крепостта Лютица се споменава още веднъж в писмените извори от Йоан Кантакузин. Той съобщава, че по време на междуособната война във Византия през 40-те години на XIV в. един отряд от Димотишкия гарнизон тръгнал за продоволствие в Родопите, но бил изненадан от суровата зима и бил принуден да се предаде на гарнизона на „градчето Лютица”, за да не замръзне от студ на открито в планината. Лютица по това време принадлежала на Алексий Апокавк, противник на Йоан Кантакузин, но управителят на крепостта бил таен привърженик на Кантакузин. Затова той „заключил войниците в една къща под стража. Той ги стоплил и ги подкрепил с други необходими неща, а след третия ден доброволно ги пуснал да избягат.
При османското нашествие в българските земи се знае, че Лютица капитулира пред османските завоеватели и затова не само че не е разрушена, а запазва и епископството си. Кога и при какви обстоятелства тя е прекратила съществуването си, засега не е известно.
Крепостта Лютица се намира западно от Ивайловград, Хасковска област. В околностите и освен манастира „Св. Константин и Елена” ” може да бъде посетена и римска вила рустика — уникален античен паметник, съхранил до наши дни повече от 260 м2 многоцветна мозайка и десетки детайли от архитектурната украса на вилата — архитаври, капители, фризове, пиластри и др.