Se pueden ver signos visibles del pasado enigmático de Tarifa esparcidos por todo el pueblo y sus zonas colindantes. El casco antiguo es una red de callejuelas adoquinadas y de casas blancas con terrazas que en si son monumentos y homenajean el pasado árabe del pueblo.
Aún rodeado por las murallas de su castillo de 1000 años de edad, esta curiosa red de grandes edificios de piedra fue construido especialmente para yacer en un nivel inferior al castillo por dos razones. En primer lugar para ayudaba a la ciudad en su antiguo sistema de gestión de residuos y en segundo lugar para garantizar al gobernador una vista panorámica de la ciudad y de todos los procedimientos entre sus súbditos. Todas las calles se unen a las puertas del castillo.
A pesar de su edad, el exterior del castillo sigue todavía notablemente intacto. La magnifica entrada como un túnel se conoce como Puerto de Jerez. A partir de ahí los callejones serpenteantes dirigen hacia el castillo bordeando el agua. La vista panorámica desde la parte superior del castillo es impresionante y un legado perdurable a la visión de la ciudad y sus antepasados.
Sentado a la entrada del castillo hay una estatua de Guzmán El Bueno, patrón de la ciudad y venerado héroe. Según dice la tradición, cuando la ciudad fue invadida por los moros en 1292, su hijo fue tomado como rehén por un traidor español y se exigía la rendición de las tropas como precio por la vida del niño. Eligiendo "honor sin su hijo, a un hijo sin deshonor", Guzmán les tiro su propia daga para que procedieran a la ejecución. Su heroica resistencia es famosa en toda España.
Detrás del castillo se encuentra la encantadora Plaza de Santa María, también sede del ayuntamiento local. Una plaza sacada de un libro de cuentos, debido a su elegante mezcla de influencias moriscas y andaluzas que cuenta con una tradicional fuente de agua en su centro y se encuentra rodeada de aromáticas buganvillas.
A solo un pintoresco y corto camino desde la plaza se encuentra el mirador, con suelos de baldosas pintorescas y tradicionales Andaluzas y con vistas a través del estrecho hacia las brumas montañas Rif de Marruecos en la distancia.
Alrededor de la costa de Punta Paloma, a unos 12 km al oeste de Tarifa y casi en la playa de la cala de Bolonia se encuentran las ruinas de la ciudad romana Baelo Claudia. Fundada en el siglo 2 AC la ciudad creció a través del próspero comercio de los peces. De hecho, próspero tanto que fue elevado a la condición de municipio autónomo o municipio por el emperador Claudio. Los restos de piedra que se ven en la actualidad datan de ese período. Las excavaciones comenzaron en 1917 y durante los años se ha puesto de manifiesto la progresiva importancia que tuvo en su día esta magnífica ciudad de puerto.
