Research Article
BibTex RIS Cite

Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti

Year 2023, Volume: 26 Issue: 2, 855 - 862, 05.07.2023
https://doi.org/10.2339/politeknik.1063104

Abstract

Deepfake videolar özellikle son yıllarda çok fazla dikkat çeken alanlardan birisidir. Sosyal ağların artan popülaritesi neticesinde mobil cihazların gelişmiş kameraları ile oluşturulan video ve görüntülerin düzenlenmesi ve paylaşılması geçmiş döneme göre daha erişilebilir bir düzeye ulaşmıştır. Deepfake tekniği ile oluşturulan ve sosyal ağlarda dağıtımı yapılan birçok sahte görüntü ve video sadece kişilerin özel hayatını değil, aynı zamanda toplum düzenini de tehdit etmektedir. İnsan yüzü, insanlar arası etkileşimde ve biyometrik tabanlı doğrulama sistemlerinde halihazırda önemli bir role sahiptir. Bu nedenle, yüz karelerinde küçük çaplı manipülasyonlar dahi, güvenlik uygulamalarına ve sayısal verilere olan güveni sarsabilecektir. Bu çalışmada, deepfake video tespiti modelinin oluşturulmasında bir sınıflandırma probleminin çözümü yaklaşımı benimsenmiştir. Öznitelik çıkarıcı olarak önceden eğitilmiş EfficientNet model ailesi kullanılmış ve tahminin çıktısını elde etmek için bunun üzerinde bir sınıflandırıcı eğitilmiştir. Modelin eğitilmesinde yine derin öğrenme tabanlı yöntemlerle üretilen ve en büyük deepfake veri setlerinden olan DFDC veri seti kullanılmıştır. Derin öğrenme algoritma ve kütüphanelerinden yararlanılmış ve belirlenen videonun gerçek mi yoksa sahte mi olduğuna karar veren yeni bir model ortaya koyulmuştur.

References

  • [1] Berk, M ., “Dijital Çağın Yeni Tehlikesi Deepfake” . OPUS Uluslararası Toplum Araştırmaları Dergisi , 16 (28): 1508-1523, (2020).
  • [2] Westerlund, M., “The Emergence of Deepfake Technology: A Review.” Technology Innovation Management Review. , 39-52. 10.22215/timreview/1282, (2019).
  • [3] Bayar, B., Stamm M. C., “A deep learning approach to universal image manipulation detection using a new convolutional layer”, 4th ACM Workshop Inf. Hiding and Multimedia Secure, 5–10, (2016).
  • [4] Afchar, D., Nozick, V., Yamagishi, J., Echizen, I., “MesoNet: a Compact Facial Video Forgery Detection Network”, IEEE International Workshop on Information Forensics and Security (WIFS), (2018).
  • [5] Zhou, P., Han, X., Morariu, V. I., Davis, L. S., “Two-Stream Neural Networks for Tampered Face Detection,” [Online]. İnternet:http://arxiv.org/abs/1803.11276, (2018).
  • [6] Li, Y., Chang, M., Lyu, S., “Exposing AI created fake videos by detecting eye blinking”, IEEE Int. Workshop on Information Forensics and Security (WIFS), 1 –7, (2018).
  • [7] Güera, D., Delp, E. J., “Deepfake video detection using recurrent neural networks”, 15th IEEE Int. Conf. Adv. Video and Signal Based Surveill. (AVSS), 1 –6 Google Scholar, (2018).
  • [8] Li, Y., Yang, X., Lyu, S., “Exposing deep fakes using inconsistent head poses”, IEEE Int. Conf. Acoust., Speech and Signal Process. (ICASSP), 8261 –8265, (2019).
  • [9] Li, Y., Chang, M., Lyu, S., “Exposing AI Generated Fake Face Videos by Detecting Eye Blinking”, arXiv:1806.02877v2 [cs.CV], (2018).
  • [10] “Deepfake Detection Challenge/ Kaggle.”Internet:https://www.kaggle.com/c/deepfake-detection-challenge (Erişim Tarihi: 20 Ekim 2021).
  • [11] Tan, M., Le, Q.V., “EfficientNet: Rethinking model scaling for convolutional neural networks”,36th Int. Conf. Mach. Learn. ICML 2019-June, pp. 10691–10700,(2019).
  • [12] “Albumentation Library1[Online]. İnternet: https://albumentations.ai/docs/examples/pytorch_classification/ (Erişim Tarihi:17 Ağustos 2021).
  • [13] Ruben, T., Rodriguez, V., Fierrez, R., Morales, J., Garcia, A. O.,“DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection”, Information Fusion, (2020).
  • [14] Par, Ö., Akçapınar, S., Sever, H., "Sınıflandırmada Küçük ve Dengesiz Veri Kümesi Problemi/Small and Unbalanced Data Set Problem in Classification”, IEEE 27th Signal Processing and Communications Applications Conference (SIU), (2019).

Deepfake Video Detection Using Deep Learning Algorithms

Year 2023, Volume: 26 Issue: 2, 855 - 862, 05.07.2023
https://doi.org/10.2339/politeknik.1063104

Abstract

Deepfake videos are one of the areas that have attracted a lot of attention, especially in recent years. As a result of the increasing popularity of social networks, editing and sharing of videos and images created with advanced cameras of mobile devices has reached a more accessible level than before. Many fake images and videos created with the deepfake techniques and distributed on social networks threaten not only the private life of individuals, but also the public order. The human face always has an important role in human interaction and biometric-based verification systems. Therefore, even minor manipulations of face frames can undermine trust in security applications and digital data In this study, a classification problem solution approach is adopted in the creation of the deepfake video detection model. Pre-trained EfficientNet model family is used as feature extractor and a classifier is trained on it to get the output of the prediction. The DFDC dataset, which is one of the largest deepfake datasets and produced by deep learning-based methods, was used to train the model. Deep learning algorithms and libraries have been used and a new model has been introduced that decides whether the determined video is real or fake.

References

  • [1] Berk, M ., “Dijital Çağın Yeni Tehlikesi Deepfake” . OPUS Uluslararası Toplum Araştırmaları Dergisi , 16 (28): 1508-1523, (2020).
  • [2] Westerlund, M., “The Emergence of Deepfake Technology: A Review.” Technology Innovation Management Review. , 39-52. 10.22215/timreview/1282, (2019).
  • [3] Bayar, B., Stamm M. C., “A deep learning approach to universal image manipulation detection using a new convolutional layer”, 4th ACM Workshop Inf. Hiding and Multimedia Secure, 5–10, (2016).
  • [4] Afchar, D., Nozick, V., Yamagishi, J., Echizen, I., “MesoNet: a Compact Facial Video Forgery Detection Network”, IEEE International Workshop on Information Forensics and Security (WIFS), (2018).
  • [5] Zhou, P., Han, X., Morariu, V. I., Davis, L. S., “Two-Stream Neural Networks for Tampered Face Detection,” [Online]. İnternet:http://arxiv.org/abs/1803.11276, (2018).
  • [6] Li, Y., Chang, M., Lyu, S., “Exposing AI created fake videos by detecting eye blinking”, IEEE Int. Workshop on Information Forensics and Security (WIFS), 1 –7, (2018).
  • [7] Güera, D., Delp, E. J., “Deepfake video detection using recurrent neural networks”, 15th IEEE Int. Conf. Adv. Video and Signal Based Surveill. (AVSS), 1 –6 Google Scholar, (2018).
  • [8] Li, Y., Yang, X., Lyu, S., “Exposing deep fakes using inconsistent head poses”, IEEE Int. Conf. Acoust., Speech and Signal Process. (ICASSP), 8261 –8265, (2019).
  • [9] Li, Y., Chang, M., Lyu, S., “Exposing AI Generated Fake Face Videos by Detecting Eye Blinking”, arXiv:1806.02877v2 [cs.CV], (2018).
  • [10] “Deepfake Detection Challenge/ Kaggle.”Internet:https://www.kaggle.com/c/deepfake-detection-challenge (Erişim Tarihi: 20 Ekim 2021).
  • [11] Tan, M., Le, Q.V., “EfficientNet: Rethinking model scaling for convolutional neural networks”,36th Int. Conf. Mach. Learn. ICML 2019-June, pp. 10691–10700,(2019).
  • [12] “Albumentation Library1[Online]. İnternet: https://albumentations.ai/docs/examples/pytorch_classification/ (Erişim Tarihi:17 Ağustos 2021).
  • [13] Ruben, T., Rodriguez, V., Fierrez, R., Morales, J., Garcia, A. O.,“DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection”, Information Fusion, (2020).
  • [14] Par, Ö., Akçapınar, S., Sever, H., "Sınıflandırmada Küçük ve Dengesiz Veri Kümesi Problemi/Small and Unbalanced Data Set Problem in Classification”, IEEE 27th Signal Processing and Communications Applications Conference (SIU), (2019).
There are 14 citations in total.

Details

Primary Language Turkish
Subjects Engineering
Journal Section Research Article
Authors

Şahin Korkmaz 0000-0002-7197-4799

Mustafa Alkan 0000-0002-9542-8039

Publication Date July 5, 2023
Submission Date January 30, 2022
Published in Issue Year 2023 Volume: 26 Issue: 2

Cite

APA Korkmaz, Ş., & Alkan, M. (2023). Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti. Politeknik Dergisi, 26(2), 855-862. https://doi.org/10.2339/politeknik.1063104
AMA Korkmaz Ş, Alkan M. Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti. Politeknik Dergisi. July 2023;26(2):855-862. doi:10.2339/politeknik.1063104
Chicago Korkmaz, Şahin, and Mustafa Alkan. “Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti”. Politeknik Dergisi 26, no. 2 (July 2023): 855-62. https://doi.org/10.2339/politeknik.1063104.
EndNote Korkmaz Ş, Alkan M (July 1, 2023) Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti. Politeknik Dergisi 26 2 855–862.
IEEE Ş. Korkmaz and M. Alkan, “Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti”, Politeknik Dergisi, vol. 26, no. 2, pp. 855–862, 2023, doi: 10.2339/politeknik.1063104.
ISNAD Korkmaz, Şahin - Alkan, Mustafa. “Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti”. Politeknik Dergisi 26/2 (July 2023), 855-862. https://doi.org/10.2339/politeknik.1063104.
JAMA Korkmaz Ş, Alkan M. Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti. Politeknik Dergisi. 2023;26:855–862.
MLA Korkmaz, Şahin and Mustafa Alkan. “Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti”. Politeknik Dergisi, vol. 26, no. 2, 2023, pp. 855-62, doi:10.2339/politeknik.1063104.
Vancouver Korkmaz Ş, Alkan M. Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti. Politeknik Dergisi. 2023;26(2):855-62.