কক্সবাজারের কুতুবদিয়ায় প্রায় ৫০০ বছর পূর্বে মুঘল আমলে প্রতিষ্ঠিত ‘কালারমার মসজিদ’ এখনো ঐতিহাসিক সাক্ষী হিসেবে দাঁড়িয়ে আছে। এটি উপজেলার উত্তর ধুরং ইউনিয়নে অবস্থিত। উপজেলার প্রাচীনতম এই মসজিদটি একটি ঐতিহাসিক নিদর্শন। মসজিদটির প্রতিষ্ঠাতা, নির্মাণ পদ্ধতি এবং নামকরণের সঠিক ইতিহাস পাওয়া যায়নি। তবে স্থানীয় জনগণের মধ্যে একটি প্রবাদ প্রচলিত রয়েছে, যা অনুযায়ী প্রায় ৫০০ বছর আগে ওই গ্রামের এক মহীয়সী নারী তাঁর স্বামীকে নির্দেশ দিয়েছিলেন, যেন তাঁর মৃত্যুর পর তার স্মৃতিরূপে একটি মসজিদ নির্মাণ করা হয়। তাঁর স্বামী, তার প্রিয় স্ত্রীর ইচ্ছা পূর্ণ করতে গোলপাতার ছাউনি দিয়ে মসজিদটি নির্মাণ করেন, এবং এটি কালার নামের এক ছেলের নামানুসারে নামকরণ করা হয়। দীর্ঘ সময় পর ১৮৭৬ সালে এটি সেমিপাকা করে তৎকালীন জমিদার শেখ মুহাম্মদ মনু সিকদার। এরপর, তাঁর তিন ছেলে শেখ আজগর আলী সিকদার, শেখ আবদুর রহমান সিকদার এবং শেখ আব্দুচ ছমদ সিকদার ১৯১৬ সালে মসজিদসহ বিভিন্ন সামাজিক কল্যাণমূলক কার্যক্রম পরিচালনার জন্য ওয়াকফ্ ট্রাস্ট প্রতিষ্ঠা করেন। পরে, ১৯৫২ সালে শেখ আব্দুচ ছমদ সিকদারের একমাত্র ছেলে শেখ আবদুল আজিজ চৌধুরী মসজিদটি পুনর্নির্মাণ করেন এবং এতে নানা ধরনের কারুকার্য সংযোজন করেন। বর্তমানে, মসজিদে প্রতিটি ওয়াক্তে কয়েক শ' মুসল্লি এবং জুমার নামাজে দূর-দূরান্ত থেকে ৫০০-৭০০ মুসল্লি যোগ দেন। মসজিদে মহিলাদের নামাজের জন্যও ব্যবস্থা রয়েছে, এবং এখানে অন্যান্য এবাদত-বন্দেগির জন্যও স্থান রয়েছে।