Na dawnych ziemiach Jaćwingów zamek w Ełku był najdalej wysuniętą na wschód krzyżacką warownią. Twierdza wielokrotnie zmieniała przeznaczenie. Była siedzibą starosty, potem sądu, a w XIX wieku stało się więzieniem, które funkcjonowało aż do lat 70. XX wieku.
Zamek ufundował Ulrich von Jungingen – Wielki Mistrz Zakonu Krzyżackiego. Obrona twierdzy była znacznie ułatwiona przez strategiczne położenie na wyspie. Kompleks składał się z dwóch obiektów: zamku i małego budynku, który pełnił funkcje mieszkalne. Główne wejście do zamku prowadziło od strony miasta długim drewnianym mostem. Był to element muru obronnego, który otaczał cały kompleks.
Zamek w Ełku znajdował się we wschodniej części wyspy. Budynek mieszkalny natomiast został wydzielony przez obniżenie fortyfikacji i połączenie z drewnianym mostem. Na terenie zamku znajdowała się również niewielka kaplica.
Budowla została ulokowana na szlaku komunikacyjnym z Prus na wschodnie tereny. Stanowiła ona fortecę napadową zakonu krzyżackiego na Litwę. Zamek był częścią systemu obronnego zakonu i był rezydencją jednego z zarządców, który piastował tytuł prokuratora.
Wojska polskie zniszczyły zamek po wygranej bitwie pod Grunwaldem, która miała miejsce w 1410 r. Pod koniec XV w, zakon ponownie go odbudował. W 1525 r. zamek przekazano starszemu elkowi, później urządzono w nim sąd miejski.
W 1833 roku zamek został poważnie zniszczony przez pożar. Zostały po nim wtedy tylko mury. Po kolejnej odbudowie zrobiono w nim więzienie, które działało do 1970 r. Od tego czasu budowla zaczynała się rozpadać i obecnie możemy zobaczyć jedynie jej ruiny.
W 2010 roku ziemia wraz z zamkiem stała się własnością prywatnego właściciela. Planuje on przekształcić całość w hotel. Teren zamku jest oczywiście pod stałą opieką konserwatora zabytków.
Legenda głosi, że pod dnem jeziora Ełckiego biegł tunel, który łączył zamek z miastem. W czasach, gdy tunel był tajemnicą, wojska szwedzkie zalały polskę. Miały przy boku tatarskich najemców. Tatarzy wygrali bitwę pod Prostkami. Splądrowali i spalili Ełk, a ludzi wzięli w jasyr. Niektórzy mieszkańcy schronili się w zamku i spalili jedyny most, który do niego prowadził.
Gdy nastał wieczór, Tatarzy rozbili obóz na pobliskim wzgórzu i zabrali się za świętowanie. Wtedy to schowani w zamku ełczanie przedostali się podziemnym tunelem, uwolnili wziętych w niewolę i razem wrócili do zamku. Tam mogli cieszyć się szczęśliwym oswobodzeniem. Tatarzy do dziś nie wiedzą, jak to się stało, że utracili wszystkich niewolników. I opowiadają niezwykłe legendy o Ełku.