Агстафинский район является одним из самых древних регионов Азербайджана. В древних памятниках этого края отражаются следы нашей истории. Одним из подобных памятников является пещерно-храмовый комплекс V-VI веков «Кешикчидаг», расположенный на отвесных скалах на расстоянии 75 километров от центра Агстафинского района.

Комплекс состоит их одной крепости, двух храмов,  святилища (родник "Гюдрят") и около 70-ти пещер. Расположенные на горном хребте Гатардаг (Кешикчидаг) крепость Кешикгала и храмы являются наследием Кавказской Албании, христианского государства, сформировавшегося во II-I веках до н.э. на территории современного Азербайджана, Дагестана и Грузии.

Строительство крепостей на непроходимых скалах пещерного комплекса объясняется тем, что эта территория время от времени подвергалась нападениям захватчиков. В XI веке пещерный комплекс разорило нашествие сельджуков, в XIII веке – нападение монголов.  

Главной достопримечательностью является крепость Кешикчигала,  построенная  на  вершине горы. Высота крепости составляет 11  метров. Часть  третьего этажа  разрушена. Наблюдательные  окошечки,  имеющиеся на всех  этажах  крепости,  доказывают, что ее построили с целью обороны.

К  северо-востоку  от Кешикчигалы, на   высоте  950  метров  от  уровня  моря, на расстоянии  1500  метров   друг от друга находятся  два  храма. Эти  построения также относятся к наследию Кавказской Албании.

Существующие на территории заповедника пещеры искусственного и природного происхождения возникли в эпоху раннего и среднего средневековья. В пещерах жили монахи, пришедшие в Кавказскую Албанию из Ближнего Востока. Пещеры имеют одну или несколько комнат, спальню и молельню. В каждой пещере есть вход и окно в виде амбразуры. В  большинстве  пещер  имеются многочисленные  фрески. На фресках  изображены  композиции  на  библейские темы. Исследователи  утверждают, что фрески были созданы в гораздо более поздний период, и не имеют отношения к Кавказской Албании.

И, наконец, святилище комплекса «Кешикчидаг» - родник "Гюдрят". Родник издавна является местом поклонения для местного населения. Название роднику дали люди, которые, считая это место святым, приходили сюда поклоняться Всевышнему. Кроме того, растущие здесь деревья инжир и каркас также считаются святыми.

12 октября 2005 г. Президент Азербайджана Ильхам Алиев лично посетил пещерно-храмовый комплекс. В соответствии с указом главы государства от 19 декабря 2007 г. территория была объявлена Государственным Историко-Культурным Заповедником «Кешикчидаг».