Digitale piraten opsporen met een watermerk
In 2015 werd de totale waarde van illegaal verspreide films en tv-series geschat op 130 miljard euro. De televisiereeks Game of Thrones is daarin een koploper; het breekt al enkele jaren de records van meest illegaal gedownloade tv-programma. Zo werd de laatste aflevering van het zevende seizoen meer dan 120 miljoen keer gedownload in de eerste drie dagen na uitgave! In sommige gevallen gaat het zelf een stap verder en zijn de afleveringen online beschikbaar nog vóór deze officieel uitgebracht worden. Zo werden bijvoorbeeld in 2015 de eerste vier afleveringen van het nieuwe seizoen een dag voor de première gelekt. In één week werden deze maar liefst 32 miljoen keer illegaal gedownload.
De filmindustrie heeft er alle belang bij om digitale piraterij zo snel en efficiënt mogelijk aan te pakken. Sommige organisaties willen dit doen door de (miljoenen) mensen die illegaal downloaden op te sporen en te straffen. Een betere oplossing is echter om het probleem bij de bron aan te pakken, namelijk bij de enkele digitale piraten die de video’s illegaal op het internet zetten.
Een mogelijke oplossing is het zogenaamde watermerken van video’s. Wanneer een video legaal verstuurd wordt naar een klant, plaatst men in deze video een uniek watermerk dat de identificatiegegevens van deze klant voorstelt. Als een onbetrouwbare klant zijn gewatermerkte versie van de video illegaal op het internet zet, kan men het watermerk uitlezen en de criminele klant identificeren.
Hoe het niet moet: tekst als watermerk
De eerder vermelde afleveringen van Game of Thrones werden op voorhand verstuurd naar vertrouwde recensenten, zodat deze een review klaar zouden hebben op de dag van première. Om de video’s te beveiligen kreeg elke recensent een versie met daarin een persoonlijk watermerk; de identificatiegegevens werden weergegeven als tekst in een hoek van de video (zie onderstaande, linkse afbeelding). Dit betekende enerzijds dat alle klanten – ook de eerlijke – gestoord werden. Het watermerk blokkeerde namelijk een deel van de video. Anderzijds was het erg gemakkelijk voor piraten om het watermerk te omzeilen. Ze konden het watermerk simpelweg wazig maken zodat ze niet meer identificeerbaar waren (zie onderstaande, rechtse afbeelding).
Een voorbeeld van hoe men video’s niet moet watermerken: het watermerk (links) is storend zichtbaar en gemakkelijk te verwijderen door het wazig te maken (rechts).
Uiteraard bestaan er ook meer geavanceerdere technieken. Deze creëren echter nog altijd geen watermerk dat niet storend zichtbaar is, niet gemakkelijk te verwijderen is én op grote schaal te gebruiken is.
Hoe ik het doe: impliciete aanpassingen als watermerk
In mijn masterproef heb ik een nieuwe techniek ontwikkeld die wél onzichtbaar, niet-verwijderbaar en op grote schaal te gebruiken is. Wat deze aanpak zo uniek maakt is dat het watermerk automatisch geïntroduceerd wordt door de video-encoder.
Een video-encoder wordt gebruikt om video’s te comprimeren. Dit doet men door alle kleine regio’s in een video te voorspellen op basis van andere, omringende kleine regio’s. Zo is het heel aannemelijk om te voorspellen dat, bijvoorbeeld in een video met planten, naast een bladje van een plant een ander bladje van die plant te zien is. Door dit voorspellend gedrag kan een encoder de bestandsgrootte van een video sterk verkleinen. Bij deze voorspellingen maakt de encoder kleine foutjes, ook wel compressieartefacten genoemd, die men als mens niet opmerkt. Met andere woorden, de encoder comprimeert de video zonder aan kwaliteit in te boeten.
Mijn ontwikkelde watermerkmethode speelt in op dit voorspellend gedrag en de daarbij horende kleine foutjes. Tijdens het comprimeren introduceer ik het watermerk in de video door één kleine regio subtiel aan te passen. Deze aanpassing is zo subtiel dat men dit als mens niet opmerkt, bijvoorbeeld door een klein stukje van een bladje van een plant een andere tint groen te geven. Doordat de video-encoder deze kleine regio gebruikt bij de voorspelling van omliggende regio’s, zullen deze omliggende regio’s ook (impliciet) aangepast worden. Dit komt doordat de encoder deze omliggende regio’s anders zal voorspellen dan wanneer men de kleine regio niet had aangepast. Als gevolg zal de encoder dan ook andere compressieartefacten genereren in deze omliggende regio's. Kortom, door één expliciete aanpassing in één regio worden vele andere regio’s ook, impliciet, aangepast.
Doordat elke expliciete aanpassing zich verspreidt tot andere impliciete aanpassingen, stel ik het watermerk voor door deze unieke collectie aanpassingen. Zo kan een bepaald watermerk bijvoorbeeld voorgesteld worden door de impliciete aanpassingen gegenereerd door een bepaalde expliciete aanpassing in de linkerbovenhoek, en een ander watermerk door die gegenereerd door een bepaalde expliciete aanpassing in de rechteronderhoek.
Het grootste voordeel van deze nieuwe techniek is dat de impliciete aanpassingen automatisch gecreëerd worden door de video-encoder en dus normale, veelvoorkomende compressieartefacten zijn. Doordat zo’n kleine foutjes ook voorkomen in video’s zonder watermerk zijn mensen reeds gewend om deze constant te zien. Ze worden met andere woorden niet als storend ervaren en worden zelfs niet eens opgemerkt. Een tweede voordeel aan deze techniek is dat een piraat de impliciete aanpassingen niet kan onderscheiden van compressieartefacten die sowieso in de video aanwezig zijn. Hierdoor is het dus ook erg moeilijk – of zelfs onmogelijk – om het watermerk te verwijderen. Ten slotte wordt gebruik gemaakt van slimme encoders die deze kleine expliciete aanpassingen snel kunnen maken, waardoor het watermerksysteem toepasbaar is op relatief grote schaal. Kortom, het watermerk is onzichtbaar, niet-verwijderbaar én op grote schaal te gebruiken.
Mijn excuses
Indien men de eerder vermelde, vroegtijdig gelekte afleveringen van Game of Thrones had beveiligd met mijn watermerktechniek dan had men de piraten kunnen identificeren. Het probleem zou met andere woorden bij de bron aangepakt worden en daardoor vermeden worden in de toekomst. Mijn excuses alvast aan u, de lezer van dit artikel, want u downloadt toch ook wel eens iets illegaal?
Bibliografie
[1] M. Sweney. (2014) Game of Thrones is world's most-pirated TV show. Posted 4 April 2014. [Online]. Available: https://www.theguardian.com/tv-and-radio/2014/apr/04/game-of-thrones-mo…
[2] H. Siddique. (2015) Game of Thrones fifth season episodes leaked online. Posted 12 April 2015. [Online]. Available: https://www.theguardian.com/tv-and-radio/2015/apr/12/game-of-thrones-fi…
[3] E. Van der Sar. (2015) Leaked Game of Thrones Episodes Trigger Piracy Craze. Posted 12 April 2015. [Online]. Available: https://torrentfreak.com/leaked-game-of-thrones-episodes-trigger-piracy…
[4] J. Hibberd. (2016) Game of Thrones lockdown: HBO won't send press any season 6 episodes. Posted 2 March 2016. [Online]. Available: http://ew.com/article/2016/03/02/game-thrones-season-6-review-screeners/
[5] S. Jain, "Digital piracy: A competitive analysis," Marketing Science, vol. 27, no. 4, pp. 610--626, 2008.
[6] D. Ensor. (2004) Drone may have spotted bin laden in 2000. Posted 17 March 2004. [Online]. Available: http://edition.cnn.com/2004/WORLD/asiapcf/03/17/predator.video/
[7] D. R. Bull, "Chapter 1 - Introduction," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 1 -- 16.
[8] ------, "Chapter 9 - The Block-Based Hybrid Video Codec," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 291 -- 316.
[9] ------, "Chapter 5 - Transforms for Image and Video Coding," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 133 -- 169.
[10] A. M. Buhari, H.-C. Ling, V. M. Baskaran, and K. Wong, "Fast watermarking scheme for realtime spatial scalable video coding," Signal Processing: Image Communication, 2016.
[11] D. Shin and J. Choi, "An Efficient Video Watermark Method with Adaptive Use of Block QP," International Journal on Electrical Engineering and Informatics, vol. 8, no. 3, p. 612, 2016.
[12] G. J. Sullivan, J.-R. Ohm, W.-J. Han, and T. Wiegand, "Overview of the high efficiency video coding (HEVC) standard," IEEE Transactions on circuits and systems for video technology, vol. 22, no. 12, pp. 1649--1668, 2012.
[13] D. R. Bull, "Chapter 12 - Video Coding Standards," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 411 -- 449.
[14] G. C. Langelaar, I. Setyawan, and R. L. Lagendijk, "Watermarking digital image and video data. A state-of-the-art overview," IEEE Signal processing magazine, vol. 17, no. 5, pp. 20--46, 2000.
[15] S. Bhattacharya, T. Chattopadhyay, and A. Pal, "A survey on different video watermarking techniques and comparative analysis with reference to H. 264/AVC," in Consumer Electronics, 2006. ISCE'06. 2006 IEEE Tenth International Symposium on. IEEE, 2006, pp. 1--6.
[16] F. Hartung and M. Kutter, "Multimedia watermarking techniques," Proceedings of the IEEE, vol. 87, no. 7, pp. 1079--1107, 1999.
[17] I. Cox, M. Miller, J. Bloom, J. Fridrich, and T. Kalker, Digital watermarking and steganography. Morgan Kaufmann, 2007.
[18] E. Elbasi, Robust video watermarking scheme in transform domains. Proquest, 2007.
[19] H. Zhao and K. R. Liu, "Bandwidth efficient fingerprint multicast for video streaming," in Acoustics, Speech, and Signal Processing, 2004. Proceedings.(ICASSP'04). IEEE International Conference on, vol. 5. IEEE, 2004, pp. V--849.
[20] A. Robert, O. Alvarez, and G. Do"\{ err, "Adjusting bit-stream video watermarking systems to cope with HTTP adaptive streaming transmission," in Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE, 2014, pp. 7416--7419.
[21] S. Jarvinen, J.-P. Laulajainen, T. Sutinen, and S. Sallinen, "QoS-Aware real-time video encoding How to Improve the User Experience of a Gaming-on-Demand Service," in Consumer Communications and Networking Conference, 2006. CCNC 2006. 3rd IEEE, vol. 2. IEEE, 2006, pp. 994--997.
[22] I. Sodagar, "The mpeg-dash standard for multimedia streaming over the internet," IEEE MultiMedia, vol. 18, no. 4, pp. 62--67, 2011.
[23] J. De Praeter, G. Van Wallendael, J. Slowack, and P. Lambert, "Video encoder architecture for low-delay live-streaming events."
[24] F. Hartung and B. Girod, "Watermarking of uncompressed and compressed video," Signal processing, vol. 66, no. 3, pp. 283--301, 1998.
[25] T. Kalker, G. Depovere, J. Haitsma, and M. J. Maes, "Video watermarking system for broadcast monitoring," in Electronic Imaging'99. International Society for Optics and Photonics, 1999, pp. 103--112.
[26] S. Mehta, V. Varadharajan, and R. Nallusamy, "On-the-fly Watermarking of Videos for Realtime Applications," in Multimedia and Expo Workshops (ICMEW), 2012 IEEE International Conference on. IEEE, 2012, pp. 55--60.
[27] T. Yamada, M. Maeta, and F. Mizushima, "Video watermark application for embedding recipient ID in real-time-encoding VoD server," Journal of Real-Time Image Processing, vol. 11, no. 1, pp. 211--222, 2016.
[28] Z. Shahid, M. Chaumont, and W. Puech, "Considering the reconstruction loop for data hiding of intra-and inter-frames of H. 264/AVC," Signal, Image and Video Processing, vol. 7, no. 1, pp. 75--93, 2013.
[29] Y. Tew and K. Wong, "Information hiding in HEVC standard using adaptive coding block size decision," in 2014 IEEE International Conference on Image Processing (ICIP). IEEE, 2014, pp. 5502--5506.
[30] J.-J. Wang, R.-D. Wang, D.-W. Xu, and W. Li, "An information hiding algorithm for HEVC based on angle differences of intra prediction mode," Journal of Software, vol. 10, no. 2, pp. 213--221, 2015.
[31] Q. Sheng, R. Wang, A. Pei, and B. Wang, "An Information Hiding Algorithm for HEVC Based on Differences of Intra Prediction Modes," in International Conference on Cloud Computing and Security. Springer, 2016, pp. 63--74.
[32] A. Filippov, V. Rufitskiy, and V. Potapov, "Scalar-quantization-based multi-layer data hiding for video coding applications," in Visual Communications and Image Processing Conference, 2014 IEEE. IEEE, 2014, pp. 262--265.
[33] M. E. Farfoura, S.-J. Horng, J.-M. Guo, and A. Al-Haj, "Low complexity semi-fragile watermarking scheme for H. 264/AVC authentication," Multimedia Tools and Applications, pp. 1--29, 2015.
[34] S. Swati, K. Hayat, and Z. Shahid, "A watermarking scheme for high efficiency video coding (HEVC)," PloS one, vol. 9, no. 8, p. e105613, 2014.
[35] W. Chen, Z. Shahid, T. St\"utz, F. Autrusseau, and P. Le Callet, "Robust drift-free bit-rate preserving H. 264 watermarking," Multimedia systems, vol. 20, no. 2, pp. 179--193, 2014.
[36] K. Ogawa and G. Ohtake, "Watermarking for HEVC/H. 265 stream," in 2015 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2015, pp. 102--103.
[37] S. Gaj, A. Sur, and P. K. Bora, "A robust watermarking scheme against re-compression attack for H. 265/HEVC," in Computer Vision, Pattern Recognition, Image Processing and Graphics (NCVPRIPG), 2015 Fifth National Conference on. IEEE, 2015, pp. 1--4.
[38] T. Dutta and H. P. Gupta, "A robust watermarking framework for High Efficiency Video Coding (HEVC)--Encoded video with blind extraction process," Journal of Visual Communication and Image Representation, vol. 38, pp. 29--44, 2016.
[39] L. P. Van, J. De Praeter, G. Van Wallendael, J. De Cock, and R. Van de Walle, "Out-of-the-loop information hiding for HEVC video," in Image Processing (ICIP), 2015 IEEE International Conference on. IEEE, 2015, pp. 3610--3614.
[40] A. A. Elrowayati, M. Abdullah, A. A. Manaf, and A. S. Alfagi, "Robust HEVC Video Watermarking Scheme Based on Repetition-BCH Syndrome Code," International Journal of Software Engineering and Its Applications, vol. 10, no. 1, pp. 263--270, 2016.
[41] J. Zhang, A. T. Ho, G. Qiu, and P. Marziliano, "Robust video watermarking of H. 264/AVC," IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 54, no. 2, pp. 205--209, 2007.
[42] X. Ma, Z. Li, H. Tu, and B. Zhang, "A data hiding algorithm for H. 264/AVC video streams without intra-frame distortion drift," IEEE transactions on circuits and systems for video technology, vol. 20, no. 10, pp. 1320--1330, 2010.
[43] Y. Liu, L. Ju, M. Hu, X. Ma, and H. Zhao, "A robust reversible data hiding scheme for H. 264 without distortion drift," Neurocomputing, vol. 151, pp. 1053--1062, 2015.
[44] Y. Liu, L. Chen, M. Hu, Z. Jia, S. Jia, and H. Zhao, "A reversible data hiding method for H. 264 with Shamirs (t, n)-threshold secret sharing," Neurocomputing, vol. 188, pp. 63--70, 2016.
[45] S. Gaj, A. S. Patel, and A. Sur, "Object based watermarking for H. 264/AVC video resistant to rst attacks," Multimedia Tools and Applications, vol. 75, no. 6, pp. 3053--3080, 2016.
[46] C. Wu, Y. Zheng, W. Ip, C. Chan, K. Yung, and Z. Lu, "A flexible H. 264/AVC compressed video watermarking scheme using particle swarm optimization based dither modulation," AEUInternational Journal of Electronics and Communications, vol. 65, no. 1, pp. 27--36, 2011.
[47] X. Jiang, T. Sun, Y. Zhou, W. Wang, and Y.-Q. Shi, "A Robust H. 264/AVC Video Watermarking Scheme with Drift Compensation," The Scientific World Journal, vol. 2014, 2014.
[48] A. Golikeri, P. Nasiopoulos, and Z. J. Wang, "Robust digital video watermarking scheme for H. 264 advanced video coding standard," Journal of Electronic Imaging, vol. 16, no. 4, pp. 043 008--043 008, 2007.
[49] S. Mehta, R. Nallusamy, and B. Prabhakaran, "Scene-based fingerprinting method for traitor tracing," Multimedia Systems, vol. 22, no. 2, pp. 197--211, 2016.
[50] M. Abdullah, A. Elrowayati, A. MANAF, and S. ZUBI, "Recent methods and techniques in video watermarking and their applicability to the next generation video codec," Journal of Theoretical and Applied Information Technology, vol. 74, no. 1, 2015.
[51] D. R. Bull, "Chapter 2 - The Human Visual System," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 17 -- 61.
[52] C. Podilchuk and W. Zeng, "Perceptual watermarking of still images," in Multimedia Signal Processing, 1997., IEEE First Workshop on. IEEE, 1997, pp. 363--368.
[53] I. J. Cox, J. Kilian, F. T. Leighton, and T. Shamoon, "Secure spread spectrum watermarking for multimedia," IEEE transactions on image processing, vol. 6, no. 12, pp. 1673--1687, 1997.
[54] M. D. Swanson, B. Zhu, and A. H. Tewfik, "Multiresolution scene-based video watermarking using perceptual models," IEEE Journal on selected areas in communications, vol. 16, no. 4, pp. 540--550, 1998.
[55] R. Lancini, F. Mapelli, and S. Tubaro, "A robust video watermarking technique for compression and transcoding processing," in Multimedia and Expo, 2002. ICME'02. Proceedings. 2002 IEEE International Conference on, vol. 1. IEEE, 2002, pp. 549--552.
[56] T. Sridevi, B. Krishnaveni, V. V. Kumar, and Y. R. Devi, "A video watermarking algorithm for mpeg videos," in Proceedings of the 1st Amrita ACM-W Celebration on Women in Computing in India. ACM, 2010, p. 35.
[57] H. V. Zhao, M. Wu, Z. J. Wang, and K. R. Liu, "Forensic analysis of nonlinear collusion attacks for multimedia fingerprinting," IEEE Transactions on Image Processing, vol. 14, no. 5, pp. 646--661, 2005.
[58] W. Zeng and B. Liu, "A statistical watermark detection technique without using original images for resolving rightful ownerships of digital images," IEEE Transactions on Image Processing, vol. 8, no. 11, pp. 1534--1548, 1999.
[59] S. Voloshynovskiy, S. Pereira, T. Pun, J. J. Eggers, and J. K. Su, "Attacks on digital watermarks: classification, estimation based attacks, and benchmarks," IEEE communications Magazine, vol. 39, no. 8, pp. 118--126, 2001.
[60] S. Gaj, A. K. Rathore, A. Sur, and P. K. Bora, "A robust watermarking scheme against frame blending and projection attacks," Multimedia Tools and Applications, pp. 1--25, 2016.
[61] H. V. Zhao and K. R. Liu, "Fingerprint multicast in secure video streaming," IEEE Transactions on Image Processing, vol. 15, no. 1, pp. 12--29, 2006.
[62] T. Dutta, A. Sur, and S. Nandi, "Mcrd: Motion coherent region detection in h. 264 compressed video," in Multimedia and Expo (ICME), 2013 IEEE International Conference on. IEEE, 2013, pp. 1--6.
[63] D. Jarnikov, E. Hietbrink, M. Arana, and J. M. Doumene, "A watermarking system for adaptive streaming," in Consumer Electronics (ICCE), 2014 IEEE International Conference on. IEEE, 2014, pp. 375--377.
[64] L. Abdi, F. B. Abdallah, and A. Meddeb, "Real-time watermarking algorithm of h. 264/avc video stream." International Arab Journal of Information Technology (IAJIT), vol. 14, no. 2, 2017.
[65] R. Ahuja and S. S. Bedi, "Video watermarking scheme based on candidates i-frames for copyright protection," Indonesian Journal of Electrical Engineering and Computer Science, vol. 5, no. 2, pp. 391--400, 2017.
[66] M.-J. Lee, D.-H. Im, H.-Y. Lee, K.-S. Kim, and H.-K. Lee, "Real-time video watermarking system on the compressed domain for high-definition video contents: Practical issues," Digital Signal Processing, vol. 22, no. 1, pp. 190--198, 2012.
[67] H. Khalilian and I. V. Bajic, "Video watermarking with empirical pca-based decoding," IEEE transactions on image processing, vol. 22, no. 12, pp. 4825--4840, 2013.
[68] Z. J. Wang, M. Wu, W. Trappe, and K. R. Liu, "Group-oriented fingerprinting for multimedia forensics," EURASIP Journal on Applied Signal Processing, vol. 2004, pp. 2153--2173, 2004.
[69] A. Hore and D. Ziou, "Image quality metrics: Psnr vs. ssim," in Pattern Recognition (ICPR), 2010 20th International Conference on. IEEE, 2010, pp. 2366--2369.
[70] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE transactions on image processing, vol. 13, no. 4, pp. 600--612, 2004.
[71] J. Davis and M. Goadrich, "The relationship between precision-recall and roc curves," in Proceedings of the 23rd international conference on Machine learning. ACM, 2006, pp. 233--240.
[72] S. B. Kotsiantis, I. Zaharakis, and P. Pintelas, "Supervised machine learning: A review of classification techniques," 2007.
[73] D. R. Bull, "Chapter 10 - Measuring and Managing Picture Quality," in Communicating Pictures, D. R. Bull, Ed. Oxford: Academic Press, 2014, pp. 317 -- 360. [Online]. Available: http://www.sciencedirect.com/science/article/pii/B9780124059061000106
