Edifici d'origen templer estava completament aïllat de la resta per un fossat defensiu, avui perdut, evidències del qual són les corrioles de fusta que es conserven damunt la porta.
Ha anat tenint diverses funcions i modificacions. En destaca la construcció de la porta del delme l'any 1609. La porta es feia servir per cobrar el delme a la població.
El nom de presó és motivat perquè el 18 d'abril de 1834 Gandesa va ser nomenada cap de partit judicial i, com que no tenia cel·les, es van habilitar les dependències carcel·laries ja existents al Palau del Castellà. L'edifici encara conserva la gran sala de l'inferior així com part de les cel·les, d'origen medieval.
Monument històric