Bu yüzden eski adı olan ve bir mana ifade etmeyen Kızıloğlan isminin, yerleşim merkezinin Saraydüzü’ nün eteklerinde düzlükte olması nedeni ile 1954 yılında köy muhtarı Mehmet COŞAR’ ın köy ismini n “SARAYDÜZÜ” olarak değiştirilmesi teklifi üzerine isim değişikliğine uğramıştır.

Bizanslılardan Türk Beyliklerine geçmiştir. Çeşitli Türk Beylik ve Devletlerinin, Osmanlı İmparatorluğunun egemenliğinde çeşitli uygarlıklara ve kültüre sahne olmuştur.

İlçemiz köylerinde çeşitli dönemlere ait cami, çeşmeler ile Osmanlı dönemine ait, sanatsal açıdan zengin görünümlere sahip, işleme ve oymalarla süslenmiş pencere, kapı ve balkonları ile ilgi çeken tarihi evler bulunmaktadır. Cuma köyünde bulunan Cuma günleri bütün çevre köy halkına merkezi bir cami olma özelliği ile dikkat çekmekte olan ve yapım tarihi evler bulunmaktadır. Bunu yanında merkezde bulunan ve bugün de ibadete açık olan Merkez Camii de gerek olağanüstü yapım hikayesi, gerekse tarihi bir yapı olma özelliği bakımından kayda değer bulunmaktadır. Ayrıca İlçemiz sınırları içerisinde bulunan bazı mağaraların tarih öncesi çağlarda yerleşim amacıyla kullanıldığı rivayet edilmektedir.