მანამ, სანამ გარეჯის მონასტერს დააარსებდა, მამა დავით გარეჯელი თბილისში ქადაგებდა ქრისტიანობას და მრავალი ადამიანი მოაქცია ახალ რელიგიაზე, რამაც მაზდეანებში ბევრი მტერი გაუჩინა. სწორედ მათი მონდომებით, ერთმა ქალმა ცილი დასწამა მამა დავითს, თითქოს მისგან იყო ორსულად. მამა დავითს განუცხადებია: თუ მე ვარ დამნაშავე, ქალმა ბავშვი შვას და თუ მართალი ვარ, მაშინ - ქვაო. ლეგენდის მიხედვით, ქალმა ქვა შვა და ამ ადგილასაც, სადაც ეს სასწაული მოხდა, ტაძარი ქვა-შვეთი, ანუ ქაშვეთი ააგეს.
დავით გარეჯელის სახელთან დაკავშირებული ტაძარი ჯერ კიდევ VI საუკუნეში აუშენებიათ. უძველესი ეკლესია XVIII საუკუნეში შეიცვალა, რომელიც დაზიანდა და 1904-1910 წლებში დღევანდელი ეკლესია აიგო.
ჯვარგუმბათოვანი, სამნავიანი ტაძრის მშენებლობაში გამოყენებულია, მათ შორის, იტალიური მარმარილო. ჩუქურთმები კი საქართველოს სხვადასხვა ეკლესიიდანაა გადმოღებული და ჰარმონიულადაა შეხამებული.
ქაშვეთის წმინდა გიორგის სახელობის ტაძარი დიდებულმა მხატვარმა, ლადო გუდიაშვილმა მოხატა. ფრესკებზე გამოსახულია ღვთისმშობელი ყრმით, მოციქულთა ზიარება, მთავარანგელოზი გაბრიელი და ღვთისმშობლის ხარების სცენა.
ლადო გუდიაშვილმა ტაძარი მოხატა ენკაუსტიკის ურთულესი და უძველესი ტექნიკით, რომელსაც ჯერ კიდევ ეგვიპტეში, ანტიკურ საბერძნეთსა და რომში იყენებდნენ.