Thermal imaging systems are harmless to human health and enable contactless heat measurements. The thermal cameras are used in many public sectors where it is necessary to detect the change of temperature values. However, thermal cameras are costly and produce images with low edge information. This situation prevents the widespread use of thermal cameras. Therefore, in recent years, the researches to advance the quality of thermal images have increased. Within the scope of the studies in this paper, first of all, three different datasets consisting of thermal images in the colourful format of neonates were created. Also, TSRGAN+ deep network model was presented for super-resolution studies. The super-resolution images obtained visually approached ground truth images to a great extent. In addition, these results were compared using the peak signal to noise ratio (PSNR) and the structural similarity index measure (SSIM) image quality metrics. The proposed model showed a superior success in terms of the values of PSNR and SSIM compared to the state-of-the-art models. Here, the PSNR value of the proposed TSRGAN+ model increased by 1-1.5 dB compared to the TSRGAN network architecture, while the SSIM value increased by around 2-3%. Finally, the unhealthy-healthy image classification applications were performed on all thermal image sets in order to implement both the task-based evaluation and a real-life application. Thus, a new method is presented to evaluate the results of the super-resolution studies. Here, firstly, a CNN-based classifier was designed and the classification metrics were obtained for all three datasets. Then, transfer learning was applied using state-of-the-art models (ResNet101, Xception) to increase classification success. Here, the most successful results were obtained in applications using the ResNet101 model. Also, the developed model outperformed the TSRGAN, which achieved the second-best result. When all the obtained results are evaluated, it has been observed that the super-resolution models increase the success of unhealthy-healthy classification by about 10% compared to the low resolution images. In other words, the effects of super-resolution techniques on classification applications are clearly seen. In summary, the logical use of the super-resolution research will enable the common use of low-cost thermal cameras in the application fields such as medicine.

Thermal cameras can be used safely on living things because thermal camera systems provide harmless and contactless imaging. However, thermal cameras are high-cost systems, which limits their widespread usage. Therefore, low-cost thermal cameras facilitate the use of thermal imaging in different areas. Also, these thermal cameras can create blurry thermal images with low detail information. The purpose of this work is to provide an alternative to the high-cost problem and to create a system that can be easily accessed via the internet. Here, it is important to use super resolution techniques on these low quality images. In this study, a new dataset was created using two different thermal cameras. This dataset was obtained in different way from the datasets used in traditional image enhancement implementations. Here, the low-resolution thermal face images are obtained by means of the Flir One Pro© thermal camera, which can be easily integrated into the smartphone. The high-resolution (ground truth) thermal face images are obtained with the Variocam HD© thermal camera, which is an HD (high definition) thermal imaging system. In addition, the TSRGAN+ deep network model is proposed as a new approach for super resolution application on the new dataset. The obtained results were compared with state-of-the-art models using peak signal to noise ratio (PSNR) and structural similarity index measure (SSIM) image quality metrics. When the results were evaluated, it was observed that the success performance of the proposed model was superior to other models. Here, considering the PSNR and SSIM values, it was seen that the proposed model achieved approximately 0.5 dB and 6% more successful results than other models, respectively. After these studies, the proposed super resolution model was run in the cloud environment and the system can be easily accessed from anywhere through the developed Android interface software.

Although thermal camera systems can be used in any application that requires the detection of temperature change, thermal imaging systems are highly costly systems and this situation makes difficult the common use of thermal systems. In addition, blurry images of low quality can occur when thermal images are obtained. In this article, super resolution application has been carried out on a data set consisting of thermal face images obtained from two different thermal cameras. The specified data set was created differently from traditional methods, low resolution (LR) thermal images were obtained from a 160x120 thermal resolution camera, while high resolution (reference) images were obtained from a camera with a thermal resolution of 640x480. Later, unnecessary parts of these images were cropped and another study was carried out by focusing only on the face area. A deep learning model based on adversarial generative networks (GAN) has been developed for these applications. The success performance of the results was evaluated by the image quality metrics PSNR (peak signal to noise ratio) and SSIM (structural similarity index). It has been observed that the results of the application performed by focusing only on the facial areas are better than the results of the application with original images. In addition, this study gave positive results in terms of approximating the resolution of the thermal images obtained by the less costly thermal camera to the resolution of the thermal camera, which has a high cost and can obtain high quality images, especially visually.

Tek görüntü süper çözünürlük problemi, literatürde çeşitli derin öğrenme tabanlı teknikler kullanılarak kapsamlı çalışmalar yapılmıştır. Derin evrişimli ağlar tabanlı süper çözünürlük, çok sayıda pratik uygulama ile beraber hızla büyüyen bir ilgi alanı haline gelmiştir. Bununla birlikte derin öğrenme tabanlı ilk çalışmalar evrişimli sinir ağları tabanlı olup, tepe sinyal gürültü oranı odaklı çalışmalardır. Son yıllardaki çekişmeli üretici ağlar tabanlı geliştirilen modeller sayesinde görsel kaliteyi artırmak esas amaç olarak belirlenmiştir; fakat bu durum görüntü kalite metrikleri incelendiğinde görülmemektedir. Bu çalışmada ise ağın eğitimi sırasında kullanılan ağ kaybı için hem ortalama kare hata hem de algısal kayıp değerlerinden faydalanılmıştır. Ayrıca, üç farklı eğitim veri setinin birleşimi yeni bir eğitim veri seti olarak kullanılmıştır. Bu etmenlerin sonucunda hem görsel kalite artırılmış hem de görüntü kalite metrik değerlerinde ciddi bir artış yakalanmıştır. Ek olarak, yığın normalleştirme katmanları ağ mimarisine dahil edilmemiş ve bağlantı atlama tekniği kullanılarak derin ağ mimarisinin eğitim hızı artırılmıştır. Önerilen modelin başarı performansı literatürde yer alan önemli modeller ile karşılaştırılmıştır. Burada, tepe sinyal gürültü oranı ve yapısal benzerlik indeksi değerleri literatürde yaygın kullanılan üç farklı test veri seti için ayrı ayrı hesaplanmış ve değerlendirilmiştir. Elde edilen sonuçlar değerlendirildiğinde önerilen modelin diğer modellere göre daha başarılı olduğu ve daha kaliteli görüntüler oluşturduğu görülmektedir. Tüm bulgular değerlendirildiğinde önerilen modelin diğer modellere kıyasla hem başarı hem de eğitim hızı bakımından daha verimli bir model olduğu görülmektedir.

Çözünürlük kavramı, çeşitli bilgisayarlı görü uygulamaları için büyük önem arz etmektedir. Son yıllarda donanımsal ilerlemeler sayesinde görüntü çözünürlüklerini artırmaya yönelik süper çözünürlük uygulamaları araştırmacıların odak noktası haline gelmiştir. Bu çalışmada ise yeni bir derin öğrenme tabanlı süper çözünürlük modeli (SISRGAN) önerilmiştir. Ayrıca, süper çözünürlük uygulamaları için CelebA veri setinden farklı kalite seviyelerinde üç farklı veri seti oluşturulmuştur. Çalışmalar sonucunda elde edilen sonuçlar görüntü kalite metrikleri (tepe sinyal gürültü oranı ve yapısal benzerlik indeksi) kullanılarak literatürde yer alan önemli modeller ile karşılaştırılmıştır. Önerilen derin ağ modelinin hem görsel kalitedeki iyileşme hem de metrik değerleri açısından daha üstün bir başarı ortaya koymuştur. Bununla birlikte, süper çözünürlüklü görüntünün oluşturulacağı düşük çözünürlüklü görüntü kalitesinin başarıyı doğrudan etkilediği görülmüştür.

Termal kamera sistemleri, ısı değişiminin tespitini gerektiren her türlü uygulamada faydalanılabilmesine rağmen termal görüntüleme sistemleri oldukça yüksek maliyete sahip sistemlerdir ve bu durum termal sistemlerin yaygın bir şekilde kullanımını zorlaştırmaktadır. Ayrıca termal görüntüler elde edilirken düşük kalitede bulanık görüntüler meydana gelebilmektedir. Bu makalede, iki farklı termal kameradan elde edilen termal yüz görüntülerinden oluşan bir veri seti üzerinde süper çözünürlük uygulaması gerçekleştirilmiştir. Belirtilen veri seti geleneksel yöntemlerden farklı bir şekilde oluşturulmuş olup, düşük çözünürlüklü (LR) termal görüntüler 160x120 termal çözünürlüğe sahip kameradan elde edilirken yüksek çözünürlüklü(referans) görüntüler ise 640x480 termal çözünürlüğe sahip kameradan elde edilmiştir. Daha sonra bu görüntülerdeki gereksiz kısımlar kırpılarak sadece yüz bölgesine odaklanılarak başka bir çalışma daha gerçekleştirilmiştir. Bu uygulamalar için çekişmeli üretici ağlar (GAN) tabanlı bir derin öğrenme modeli geliştirilmiştir. Sonuçların başarı performansı görüntü kalite metrikleri PSNR (tepe sinyal gürültü oranı) ve SSIM (yapısal benzerlik endeksi) ile değerlendirmeye alınmıştır. Sadece yüz bölgelerine odaklanılarak gerçekleştirilen uygulamanın sonuçları orijinal görüntülerle yapılan uygulama sonuçlarına kıyasla daha iyi olduğu görülmüştür. Bunun yanı sıra bu çalışma, daha az maliyetli termal kamera tarafından elde edilen termal görüntülerin çözünürlüğünü, yüksek maliyete sahip olan ve yüksek kalitede görüntüler elde edilebilen termal kameranın çözünürlüğüne bilhassa görsel olarak yaklaştırma yönünden olumlu sonuçlar vermiştir.

Thermal imaging can be used in many sectors such as public security, health, and defense in image processing. However, thermal imaging systems are very costly, limiting their use, especially in the medical field. Also, thermal camera systems obtain blurry images with low levels of detail. Therefore, the need to improve their resolution has arisen. Here, super-resolution techniques can be a solution. Developments in deep learning in recent years have increased the success of super-resolution (SR) applications. This study proposes a new deep learning-based approach TSRGAN model for SR applications performed on a new dataset consisting of thermal images of premature babies. This dataset was created by downscaling the thermal images (ground truth) of premature babies as traditional SR studies. Thus, a dataset consisting of high-resolution (HR) and low-resolution (LR) thermal images were obtained. SR images created due to the applications were compared with LR, bicubic interpolation images, and obtained SR images using state-of-the-art models. The success of the results was evaluated using image quality metrics of peak signal to noise ratio (PSNR) and structural similarity index measure (SSIM). The results show that the proposed model achieved the second-best PSNR value and the best SSIM value. Additionally, a CNN-based classifier model was developed to perform task-based evaluation, and classification applications were carried out separately on LR, HR, and reconstructed SR image sets. Here, the success of classifying unhealthy and healthy babies was compared. This study showed that the classification accuracy of SR images increased by approximately 5% compared to the classification accuracy of LR images. In addition, the classification accuracy of SR thermal images approached the classification accuracy of HR thermal images by about 2%. Therefore, with the approach proposed in this study, it has been proven that LR thermal images can be used in classification applications by increasing their resolution. Thus, widespread use of thermal imaging systems with lower costs in the medical field will be achieved.

Termal goruntuleme, gozle gorulmeyen kizilotesi enerjiyi (isiyi) esas alan ve goruntunun genel yapisini kizilotesi enerjiye gore olusmus renkler ve sekillerin belirledigi goruntuleme sistemidir. Genelde guvenlik amacli kullanilmakla birlikte cok cesitli sektorlerin de kullanimina aciktir. Ozellikle son yillarda termal goruntuleme sistemleri medikal alanda da oldukca genis bir kullanim alani bulmaktadir. Termal goruntuleme, tasarimi zor ve maliyeti yuksek bir goruntuleme sistemidir. Bundan dolayi termal goruntulerin cozunurlugunun artirilmasi icin termal goruntuleme alanindaki super cozunurluk uygulamalarina ilgi son yillarda oldukca artmistir. Burada derin ogrenme alanindaki gelismeler bu calismalari hizlandirmis ve basariyi artirmistir. Bu calismada da insan yuzlerine ait RGB termal goruntuler uzerinde cekismeli uretici aglar kullanilarak super cozunurluk uygulamasi gerceklestirilmistir. Bu calismada Variocam HD termal kameradan elde edilen goruntuler yuksek cozunurluklu, Flir One Pro termal kameradan elde edilen goruntuler ise dusuk cozunurluklu goruntuler olarak kullanilmistir. Bu proje icin 12 kisiye ait 5’ er adet termal goruntu cifti(yuksekcozunurluklu-dusuk cozunurluklu) kullanilmistir. Bu goruntulerden 45’ er cift goruntu egitim veri seti olarak, 15’ er cift goruntu ise test veri seti olarak ayrilmistir. Cekismeli uretici agin egitilmesi sirasinda gradyanin yok olmasi probleminin onune gecmek ve agin daha hizli egitilmesini saglamak amaciyla hem uretici ag hem de ayirt edici ag kisminda batch normalizasyon katmanlari kullanilmistir. Artik (residual) bloklar cok derin aglarin egitim zorluklarini kolaylastirarak basari performansini artirdigi icin uretici aginda, ResNet’ e benzer sekilde atlamali baglanti (skip connection) uygulanmistir. Agin egitilmesi sonucunda elde edilen sonuclarin basari performansi PSNR (tepe sinyal gurultu orani) ve SSIM (yapisal benzerlik indeksi olcumu) goruntu kalite metrikleri kullanilarak degerlendirilmistir. Sonuc olarak bikubik interpolasyona kiyasla PSNR degerlerinde yaklasik 1,5dB’lik bir artis ve SSIM degerlerinde yaklasik % 6’lik bir artis gozlemlenmistir. Ilerde yapilacak calismalarda, derin agin daha fazla veri kullanilarak ve iki farkli kameradan elde edilen goruntulerin renk tonlari birbirine benzetilerek egitilmesi sonucunda yuksek maliyetli termal kamera sistemlerine bir alternatif cozum sunulabilecektir.