Betrouwbaarder valse foto’s opsporen met gemaskerde AI
Afbeeldingen bewerken en verspreiden wordt steeds makkelijker, en daarmee groeit ook het gevaar voor fake news. Detectiemethoden worden ontwikkeld om te achterhalen welke afbeeldingen bewerkt zijn en welke niet, maar deze kunnen in de war raken door afleidingen zoals logo’s en tekst. Ze detecteren dan enkel nog de afleiding en missen de bewerking. En net op sociale media, waar vervalste beelden zich razendsnel verspreiden, komen deze vaak voor.
De kunst van fotobewerking
Het bewerken van foto’s is bijna zo oud als de fotografie zelf. In de beginjaren was dat een kunst op zich. Enkel getalenteerde mensen konden met verf, inkt of houtskool beelden aanpassen. Later namen digitale programma’s zoals Photoshop die rol over. Waar dit vroeger veel tijd en vakmanschap vroeg, kan vandaag zowat iedereen met enkele kliks foto’s aanpassen. Met de komst van gebruiksvriendelijke apps én nieuwe AI-technieken is fotobewerking nog nooit zo eenvoudig geweest.
De mogelijkheden zijn eindeloos: dingen toevoegen, verwijderen of verplaatsen. Alles kan. Maar die creatieve vrijheid heeft ook een donkere kant. Fotobewerking wordt namelijk ook ingezet voor minder onschuldige doeleinden: om iemands reputatie te schaden, mensen te misleiden, of zelf verzekeringsfraude te plegen. Voorbeelden zoals hieronder tonen duidelijk aan dat fotomanipulatie ernstige gevolgen kan hebben. Daarom is het dan ook belangrijk dat we dit probleem actief aanpakken.
Van politieke manipulatie tot verzekeringsfraude, vervalste afbeeldingen kunnen een grote impact hebben op de wereld.
Is deze foto bewerkt?
Verschillende organisaties maken het hun doel om de verspreiding van foute informatie tegen te gaan. In Vlaanderen heb je bijvoorbeeld VRT NWS, Knack en Factcheck.Vlaanderen. Aangezien misleiding vaak visueel wordt verpakt, hoort het ontmaskeren van vervalste afbeeldingen ook tot hun vast takenpakket.
In sommige gevallen kan men met het blote oog achterhalen of een afbeelding al dan niet bewerkt is. Bijvoorbeeld als een deel van de afbeelding scherper is dan de rest. En soms is het mogelijk om via een simpele omgekeerde zoekopdracht op Google de originele onbewerkte foto te vinden.
Maar voor sommige afbeeldingen is een uitgebreider onderzoek nodig. In die gevallen doet men beroep op experten in het domein van multimedia forensics. Zij maken gebruik van verschillende technieken waaronder zogenaamde forensische detectiemethodes. Deze methodes proberen onderscheid te maken tussen de originele foto en de bewerkte delen.
Hoe doen ze dat precies? Wanneer je een afbeelding bewerkt, laat je hele kleine sporen achter. Met het blote oog zie je die niet, maar slimme detectiemethoden kunnen ze wel herkennen. Door deze sporen to bestuderen kunnen ze achterhalen welke delen van de afbeelding bewerkt zijn en welke niet. Het resultaat is een zogenaamde warmtemap (zoals het voorbeeld hiernaast): een soort van hittebeeld die rood kleurt bij de delen die waarschijnlijk vervalst zijn en blauw bij de delen die waarschijnlijk echt zijn.
Even afgeleid en daardoor de weg kwijt
Hoewel detectiemethoden steeds beter worden, hebben ze nog altijd hun beperkingen. Een van de grootste struikelblokken zijn de extra bewerkingen die afbeeldingen vaak nog ondergaan nadat ze gemaakt zijn. Denk aan foto's verkleinen, de bestandsgrootte comprimeren, of het toevoegen van tekst of logo's. Dit soort bewerkingen worden voortdurend gedaan op sociale media, zoals Instagram en TikTok. En net daar verspreiden vervalste beelden zich ook het snelst.
De effecten van compressie en herschaling zijn al vaak bestudeerd, waardoor moderne methodes er reeds beter bestand tegen zijn. De toevoeging van bijvoorbeeld tekst, iets wat wel degelijk vaak gebeurt, was daarentegen nog nooit onderzocht. Met mijn onderzoek vulde ik dit gat in de kennis op.
Neem bijvoorbeeld de foto links. Hiervoor zagen we dat de vervalsing (omkaderd in het geel) duidelijk kon worden opgespoord. Zodra we echter een logo toegevoegen, raakt de detectiemethode in de war. De methode laat zich afleiden door het logo en mist daardoor de vervalsing.
Mijn onderzoek liet zien dat zulke afleidingen een groot probleem vormen, aangezien ze de werking van detectiemethoden sterk kunnen verminderen. Naast het blootleggen van dit probleem heb ik ook een techniek ontwikkeld die deze methoden veel robuuster maakt, waardoor afleidingen bijna geen invloed meer hebben.
De vervalsing weer op het spoor dankzij gemaskerde AI
Moderne detectiemethoden maken gebruik van artificiële intelligentie (AI) om bewerkingen op te sporen. Ze analyseren afbeeldingen stap voor stap via verschillende lagen die telkens iets uit de afbeelding filteren of benadrukken. Een van de belangrijkste lagen is de convolutionele laag. Die zet een foto om naar een nieuwe versie waarin bepaalde details sterker naar voren komen en andere juist verdwijnen. En net daar zit het probleem: wanneer een convolutionele laag een logo ziet die duidelijk geen onderdeel is van de originele afbeelding, en een persoon ziet die er iets geloofwaardiger uitziet, dan gaat deze het logo naar voren duwen en de persoon naar achteren. Met als gevolg dat de persoon doorheen de verschillende lagen volledig naar de achtergrond verdwijnt.
Mijn oplossing? Gemaskerde AI! Ik heb de lagen zo aangepast dat ze bepaalde stukken van een afbeelding kunnen negeren. Voor de detectiemethode lijkt het dan alsof die delen gewoon niet bestaan. Zodra je alle convolutionele lagen vervangt door deze nieuwe gemaskerde versie, kan de methode de afleiding negeren en zich weer concentreren op de echte vervalsing (zoals te zien hieronder).
Mijn nieuwe gemaskerde methode kan de afleiding negeren en daardoor de vervalsing terug opsoren.
Op weg naar sterkere detectie
Uit experimenten op een van de sterkste detectiemethoden van dit moment blijkt dat afleidingen de werking gemiddeld met 55% verminderen. Met mijn gemaskerde variant daalt dat verlies tot slechts 7%.
Dit toont aan dat met gemaskerde AI, afleidingen niet langer een zwaktepunt hoeven te zijn. Dankzij deze vooruitgang worden we niet alleen beter in het opsporen van manipulaties, maar ook sterker in de strijd tegen desinformatie.
Vervalsingen worden steeds overtuigender, dus moeten onze detectiemethoden mee-evolueren. Dankzij gemaskerde AI zijn we afleidingen opnieuw de baas. Hiermee zetten we een belangrijke stap richting het betrouwbaarder opsporen van valse foto's. In het bijzonder in chaotische omgevingen, zoals sociale media, waar afleidingen de norm zijn.
Bibliografie
[1] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, and B. Ommer, “High-resolution image synthesis
with latent diffusion models,” in Proceedings of the IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), pp. 10684–10695, 2022.
[2] Flux, “Flux [ai design tool].” https://www.flux.ai/, n.d. Accessed: 2025-05-18.
[3] Midjourney, “Midjourney [ai image generation tool].” https://www.midjourney.com/, 2023. Ac
cessed: 2025-05-18.
[4] OpenAI, “Sora [ai video generation model].” https://openai.com/sora, 2024. Accessed: 2025-05
18.
[5] CNN, “Finance worker pays out $25 million after video call with deepfake ‘chief financial officer’,”
February 2024.
[6] The Guardian, “Fraudsters editing vehicle photos to add fake damage in uk insurance scam,” May
2024.
[7] D. Cozzolino and L. Verdoliva, “Noiseprint: A CNN-based camera model fingerprint,” IEEE Trans
actions on Information Forensics and Security, vol. 15, pp. 144–159, 2020.
[8] F. Guillaro, D. Cozzolino, A. Sud, N. Dufour, and L. Verdoliva, “TruFor: Leveraging all-round
clues for trustworthy image forgery detection and localization,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR), pp. 20606–20615, June 2023.
[9] D. Cozzolino, F. Marra, D. Gragnaniello, G. Poggi, and L. Verdoliva, “Combining PRNU and
noiseprint for robust and efficient device source identification,” EURASIP Journal on Information
Security, vol. 2020, p. 1, Feb. 2020.
[10] H. Mareen, D. Vanden Bussche, F. Guillaro, D. Cozzolino, G. Van Wallendael, P. Lambert, and
L. Verdoliva, “Comprint: Image forgery detection and localization using compression fingerprints,”
in Pattern Recognition, Computer Vision, and Image Processing. ICPR 2022 International Work
shops and Challenges (J.-J. Rousseau and B. Kapralos, eds.), (Cham), pp. 281–299, Springer Nature
Switzerland, 2023.
[11] S. Ye, Q. Sun, and E.-C. Chang, “Detecting digital image forgeries by measuring inconsistencies
of blocking artifact,” in 2007 IEEE International Conference on Multimedia and Expo, pp. 12–15,
2007.
[12] Z. Lin, J. He, X. Tang, and C.-K. Tang, “Fast, automatic and fine-grained tampered jpeg image
detection via dct coefficient analysis,” Pattern Recognition, vol. 42, no. 11, pp. 2492–2501, 2009.
[13] W. Li, Y. Yuan, and N. Yu, “Passive detection of doctored jpeg image via block artifact grid
extraction,” Signal Processing, vol. 89, no. 9, pp. 1821–1829, 2009.
[14] C. Iakovidou, M. Zampoglou, S. Papadopoulos, and Y. Kompatsiaris, “Content-aware detection of
jpeg grid inconsistencies for intuitive image forensics,” Journal of Visual Communication and Image
Representation, vol. 54, pp. 155–170, 2018.
[15] M.-J. Kwon, S.-H. Nam, I.-J. Yu, H.-K. Lee, and C. Kim, “Learning jpeg compression artifacts for
image manipulation detection and localization,” International Journal of Computer Vision, vol. 130,
p. 1875–1895, May 2022.
[16] K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, “Beyond a gaussian denoiser: Residual learning
of deep CNN for image denoising,” IEEE Transactions on Image Processing, vol. 26, p. 3142–3155,
July 2017.
[17] J. Wang, K. Sun, T. Cheng, B. Jiang, C. Deng, Y. Zhao, D. Liu, Y. Mu, M. Tan, X. Wang,
W. Liu, and B. Xiao, “Deep high-resolution representation learning for visual recognition,” IEEE
Transactions on Pattern Analysis and Machine Intelligence, vol. 43, no. 10, pp. 3349–3364, 2021.
[18] X. Liu, Y. Liu, J. Chen, and X. Liu, “PSCC-Net: Progressive spatio-channel correlation network
for image manipulation detection and localization,” IEEE Transactions on Circuits and Systems for
Video Technology, vol. 32, no. 11, pp. 7505–7517, 2022.
[19] J. Zhang, H. Liu, K. Yang, X. Hu, R. Liu, and R. Stiefelhagen, “CMX: Cross-modal fusion for
rgb-x semantic segmentation with transformers,” IEEE Transactions on Intelligent Transportation
Systems, vol. 24, no. 12, pp. 14679–14694, 2023.
[20] E. Xie, W. Wang, Z. Yu, A. Anandkumar, J. M. Alvarez, and P. Luo, “SegFormer: Simple and
efficient design for semantic segmentation with transformers,” in Advances in Neural Information
Processing Systems (M. Ranzato, A. Beygelzimer, Y. Dauphin, P. Liang, and J. W. Vaughan, eds.),
vol. 34, pp. 12077–12090, Curran Associates, Inc., 2021.
[21] F. Milletari, N. Navab, and S.-A. Ahmadi, “V-Net: Fully convolutional neural networks for volu
metric medical image segmentation,” in 2016 Fourth International Conference on 3D Vision (3DV),
pp. 565–571, 2016.
[22] V. V. Kniaz, V. Knyaz, and F. Remondino, “The point where reality meets fantasy: Mixed adver
sarial generators for image splice detection,” in Advances in Neural Information Processing Systems
(H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alch´e-Buc, E. Fox, and R. Garnett, eds.), vol. 32,
Curran Associates, Inc., 2019.
[23] A. Novoz´amsk´y, B. Mahdian, and S. Saic, “IMD2020: A large-scale annotated dataset tailored for
detecting manipulated images,” in 2020 IEEE Winter Applications of Computer Vision Workshops
(WACVW), pp. 71–80, 2020.
[24] Z. Sha, Z. Li, N. Yu, and Y. Zhang, “DE-FAKE: Detection and attribution of fake images generated
by text-to-image generation models,” in Proceedings of the 2023 ACM SIGSAC Conference on Com
puter and Communications Security, CCS ’23, (New York, NY, USA), p. 3418–3432, Association for
Computing Machinery, 2023.
[25] F. Marra, D. Gragnaniello, L. Verdoliva, and G. Poggi, “Do GANs leave artificial fingerprints?,” in
2019 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR), pp. 506–511,
2019.
[26] F. Lago, C. Pasquini, R. B¨ohme, H. Dumont, V. Goffaux, and G. Boato, “More real than real: A
study on human visual perception of synthetic faces [applications corner],” IEEE Signal Processing
Magazine, vol. 39, no. 1, pp. 109–116, 2022.
[27] E. J. Miller, B. A. Steward, Z. Witkower, C. A. M. Sutherland, E. G. Krumhuber, and A. Dawel,
“Ai hyperrealism: Why ai faces are perceived as more real than human ones,” Psychological Science,
vol. 34, no. 12, pp. 1390–1403, 2023. PMID: 37955384.
[28] R. Corvi, D. Cozzolino, G. Zingarini, G. Poggi, K. Nagano, and L. Verdoliva, “On the detection
of synthetic images generated by diffusion models,” in ICASSP 2023- 2023 IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1–5, 2023.
[29] M. Schinas and S. Papadopoulos, “Sidbench: A python framework for reliably assessing synthetic
image detection methods,” in Proceedings of the 3rd ACM International Workshop on Multimedia
AI against Disinformation, MAD ’24, (New York, NY, USA), p. 55–64, Association for Computing
Machinery, 2024.
[30] S.-Y. Wang, O. Wang, R. Zhang, A. Owens, and A. A. Efros, “CNN-generated images are surprisingly
easy to spot...for now,” in CVPR, 2020.
[31] T. Karras, T. Aila, S. Laine, and J. Lehtinen, “Progressive growing of GANs for improved quality,
stability, and variation,” in International Conference on Learning Representations (ICLR), 2018.
[32] A. Brock, J. Donahue, and K. Simonyan, “Large scale GAN training for high fidelity natural image
synthesis,” in International Conference on Learning Representations (ICLR), 2018.
[33] T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, and T. Aila, “Analyzing and improving the
image quality of stylegan,” in Proceedings of the IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), pp. 8110–8119, 2020.
[34] P. Esser, R. Rombach, and B. Ommer, “Taming transformers for high-resolution image synthesis,”
in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),
pp. 12873–12883, 2021.
[35] B. Dayma, S. Patil, P. Cuenca, K. Saifullah, T. Abraham, P. Lˆe Khˆac, L. Melas, and R. Ghosh,
“DALL-E mini,” 2021. https://github.com/borisdayma/dalle-mini.
[36] A. Nichol, P. Dhariwal, A. Ramesh, P. Shyam, P. Mishkin, B. McGrew, I. Sutskever, and M. Chen,
“GLIDE: Towards photorealistic image generation and editing with text-guided diffusion models,”
arXiv preprint arXiv:2112.10741, 2021.
[37] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, and B. Ommer, “Stable diffusion.” https://
github.com/CompVis/stable-diffusion, 2022.
[38] P. Dhariwal and A. Nichol, “Diffusion models beat gans on image synthesis,” in Advances in Neural
Information Processing Systems (M. Ranzato, A. Beygelzimer, Y. Dauphin, P. Liang, and J. W.
Vaughan, eds.), vol. 34, pp. 8780–8794, Curran Associates, Inc., 2021.
[39] A. Ramesh, P. Dhariwal, A. Nichol, C. Chu, and M. Chen, “Hierarchical text-conditional image
generation with clip latents,” arXiv preprint arXiv:2204.06125, 2022.
[40] Z. Liu, X. Qi, and P. H. Torr, “Global texture enhancement for fake face detection in the wild,” in
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 8057–8066,
2020.
[41] N. Zhong, Y. Xu, S. Li, Z. Qian, and X. Zhang, “PatchCraft: Exploring texture patch for efficient
ai-generated image detection,” 2024.
[42] C. Tan, Y. Zhao, S. Wei, G. Gu, P. Liu, and Y. Wei, “Rethinking the up-sampling operations in CNN
based generative network for generalizable deepfake detection,” in Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR), pp. 28130–28139, June 2024.
[43] Y. Ju, S. Jia, L. Ke, H. Xue, K. Nagano, and S. Lyu, “Fusing global and local features for generalized
ai-synthesized image detection,” in 2022 IEEE International Conference on Image Processing (ICIP),
pp. 3465–3469, 2022.
[44] A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin,
J. Clark, G. Krueger, and I. Sutskever, “Learning transferable visual models from natural language
supervision,” in Proceedings of the 38th International Conference on Machine Learning (M. Meila
and T. Zhang, eds.), vol. 139 of Proceedings of Machine Learning Research, pp. 8748–8763, PMLR,
18–24 Jul 2021.
[45] U. Ojha, Y. Li, and Y. J. Lee, “Towards universal fake image detectors that generalize across
generative models,” in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition
(CVPR), pp. 24480–24489, 2023.
[46] C. Koutlis and S. Papadopoulos, “Leveraging representations from intermediate encoder-blocks for
synthetic image detection,” in Computer Vision– ECCV 2024 (A. Leonardis, E. Ricci, S. Roth,
O. Russakovsky, T. Sattler, and G. Varol, eds.), (Cham), pp. 394–411, Springer Nature Switzerland,
2025.
[47] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani,
M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth 16x16 words:
Transformers for image recognition at scale,” 2021.
[48] T. U. of Notre Dame Computer Vision Research Laboratory (CVRL) and R. Hat, “Python-based
image forgery detection toolkit.” https://github.com/EldritchJS/pyIFD, 2022.
[49] T. J. de Carvalho, C. Riess, E. Angelopoulou, H. Pedrini, and A. de Rezende Rocha, “Exposing digital
image forgeries by illumination color classification,” IEEE Transactions on Information Forensics
and Security, vol. 8, no. 7, pp. 1182–1194, 2013.
[50] M. Fontani, T. Bianchi, A. De Rosa, A. Piva, and M. Barni, “A framework for decision fusion in
image forensics based on dempster–shafer theory of evidence,” IEEE Transactions on Information
Forensics and Security, vol. 8, no. 4, pp. 593–607, 2013.
[51] T.-N. Le, H. H. Nguyen, J. Yamagishi, and I. Echizen, “OpenForensics: Large-scale challenging
dataset for multi-face forgery detection and segmentation in-the-wild,” in 2021 IEEE/CVF Interna
tional Conference on Computer Vision (ICCV), pp. 10097–10107, 2021.
[52] H. Mareen, D. Karageorgiou, G. V. Wallendael, P. Lambert, and S. Papadopoulos, “TGIF: Text
guided inpainting forgery dataset,” in 2024 IEEE International Workshop on Information Forensics
and Security (WIFS), pp. 1–6, 2024.
[53] Q. Bammey, “Synthbuster: Towards detection of diffusion model generated images,” IEEE Open
Journal of Signal Processing, vol. 5, pp. 1–9, 2024.
[54] D.-T. Dang-Nguyen, C. Pasquini, V. Conotter, and G. Boato, “RAISE: a raw images dataset for
digital image forensics,” in Proceedings of the 6th ACM Multimedia Systems Conference, MMSys
’15, (New York, NY, USA), p. 219–224, Association for Computing Machinery, 2015.
[55] J.-S. Lee and J. Hsiang, “Patent classification by fine-tuning bert language model,” World Patent
Information, vol. 61, p. 101965, 2020.
[56] Y. Chen, Q. Zhang, Y. Wu, B. Liu, M. Wang, and Y. Lin, “Fine-tuning resnet for breast cancer
classification from mammography,” in Proceedings of the 2nd International Conference on Healthcare
Science and Engineering (C. Q. Wu, M.-C. Chyu, J. Lloret, and X. Li, eds.), (Singapore), pp. 83–96,
Springer Singapore, 2019.
[57] N. Houlsby, A. Giurgiu, S. Jastrzebski, B. Morrone, Q. De Laroussilhe, A. Gesmundo, M. Attariyan,
and S. Gelly, “Parameter-efficient transfer learning for NLP,” in Proceedings of the 36th International
Conference on Machine Learning (K. Chaudhuri and R. Salakhutdinov, eds.), vol. 97 of Proceedings
of Machine Learning Research, pp. 2790–2799, PMLR, 09–15 Jun 2019.
[58] D. Yin, L. Hu, B. Li, and Y. Zhang, “Adapter is all you need for tuning visual tasks,” 2023.
[59] X. Cui, Y. Li, A. Luo, J. Zhou, and J. Dong, “Forensics adapter: Adapting clip for generalizable
face forgery detection,” 2025.
[60] J. Hu, L. Shen, and G. Sun, “Squeeze-and-excitation networks,” in Proceedings of the IEEE Confer
ence on Computer Vision and Pattern Recognition (CVPR), June 2018.
[61] S. Woo, J. Park, J.-Y. Lee, and I. S. Kweon, “CBAM: Convolutional block attention module,” in
Proceedings of the European Conference on Computer Vision (ECCV), September 2018.
[62] F. Laakom, K. Chumachenko, J. Raitoharju, A. Iosifidis, and M. Gabbouj, “Learning to ignore:
rethinking attention in cnns,” 2021.
[63] K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2016.
[64] A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G. Chanan, T. Killeen, Z. Lin, N. Gimelshein,
L. Antiga, A. Desmaison, A. K¨opf, E. Yang, Z. DeVito, M. Raison, A. Tejani, S. Chilamkurthy,
B. Steiner, L. Fang, J. Bai, and S. Chintala, PyTorch: an imperative style, high-performance deep
learning library. Red Hook, NY, USA: Curran Associates Inc., 2019.
[65] G. Liu, F. A. Reda, K. J. Shih, T.-C. Wang, A. Tao, and B. Catanzaro, “Image inpainting for
irregular holes using partial convolutions,” in Proceedings of the European Conference on Computer
Vision (ECCV), September 2018.
