Замок в Любче был возведен, вероятно, в 80-е гг. XVI в. Он стоял на высоком левом берегу Немана и занимал участок размерами 85 x 85 м. С трех сторон замчище окружал оборонительный ров шириной до 30 м и глубиной от 7-8 м (с запада и юга) до 10 м с востока. С четвертой стороны замок был защищен Неманом.