អតីតអគារសាលាខេត្តបាត់ដំបង ដែលសព្វថ្ងៃជាសារមន្ទីរបេតិកភ័ណរបស់ខេត្ត ត្រូវបានកសាងឡើងក្នុងសម័យលោកម្ចាស់កថាថន ឈុំ គ្រាដែលខេត្តបាត់ដំបងស្ថិតក្រោមការគ្រប់គ្រងរបស់ថៃ ចន្លោះឆ្នាំ១៧៩៥ ដល់១៩០៧។ បើតាមសៀវភៅ «បាត់ដំបងសម័យលោកម្ចាស់» លោកម្ចាស់កថាថន ឈុំ ជាពូជពង្សរបស់ចៅហ្វាបែន ដែលជាអ្នកខេត្តកំពត បានគ្រប់គ្រងខេត្តបាត់ដំបងរហូត ៥ ជំនាន់តៗគ្នា។

 

ក្នុងឆ្នាំ១៩០៥ ស្ដេចត្រាញ់ កថាថន ឈុំ បានជួលស្ថាបត្យករអ៊ីតាលីពីទីក្រុងបាងកក មកសាងសង់អគារនេះឡើងដោយយករចនាបថបារាំង សម្រាប់ធ្វើជាលំនៅឋានផ្ទាល់ខ្លួន។ ប៉ុន្តែក្នុងឆ្នាំ១៩០៧ នៅពេលអគារនេះសង់ហើយ និងស្របពេលបារាំងទាមទារបានខេត្តទាំងបី រួមមានខេត្តបាត់ដំបង សិរីសោភណ្ឌ (បន្ទាយមានជ័យ) និងអង្គរ (សៀមរាប) ពីថៃមកឲ្យកម្ពុជាវិញ ស្ដេចត្រាញ់ប្រចាំខេត្តបាត់ដំបងរូបនេះ សម្រេចលក់លំនៅឋានរបស់លោកទាំងអស់ រួមទាំងអាគារនេះផង ទាំងមិនទាន់បានរស់នៅនៅឡើយ ទៅឲ្យអាជ្ញាធរបារាំង។ លោកម្ចាស់កថាថន ឈុំ បានប្តូរទៅរស់នៅប្រទេសថៃវិញចាប់ពីពេលនោះ។
 

ក្រោយមក អគារនេះក៏ត្រូវបានប្រើប្រាស់ជាកន្លែងធ្វើការ និងកន្លែងស្នាក់នៅរបស់មន្ត្រីជាន់ខ្ពស់បារាំង និងក្រោយមកប្តូរទៅជាសាលាខេត្តបាត់ដំបង រហូតមកដល់ឆ្នាំ២០០៥។ សព្វថ្ងៃ អាជ្ញាធរខេត្តបាន រៀបចំអតីតអគារសាលាខេត្តនេះ ទៅជាសារមន្ទីរបេតិកភ័ណរបស់ខេត្ត ដោយដាក់ឈ្មោះថា «សារមន្ទីរប្រវត្តិសាស្ត្រខេត្តបាត់ដំបង»  ដើម្បីឲ្យភ្ញៀវជាតិ និងអន្តរជាតិចូលទស្សនាកម្សាន្ត។ ក្នុងអគារ មានការដាក់តាំងរូបភាព ទស្សនីយភាពផ្សេងៗដែលកើតឡើងក្នុងសម័យគ្រប់គ្រងដោយលោកម្ចាស់នីមួយៗរហូតដល់ចុងក្រោយ ឆ្នាំ១៩០៧ និងក្នុងសម័យកាន់កាប់របស់បារាំង។ អ្វីដែលពិសេសនោះ គិតមកដល់ឆ្នាំ២០២៤ អគារសារមន្ទីរខេត្តបាត់ដំបងដែលមានអាយុកាល១១៧ឆ្នាំនេះ គ្មានសសរទ្រសូម្បីមួយដើម។