Moet je kwantummechanica begrijpen om eruit te kunnen leren?
Als onderzoeker moet je gelukkig niet altijd weten waar je mee bezig bent om nuttig werk te kunnen leveren. Kijk maar naar experten in machine learning. In sciencifictionfilms zijn zij vaak de meesterbreinen achter een snel naderende robot-apocalyps, maar in het dagelijks leven houden ze zich bezig met het trainen van rekenkundige modellen: zogenaamde ‘black boxes’.
Black boxes zijn systemen waarvan we het gedrag kunnen waarnemen, zonder dat we daarvoor alle inwendige details hoeven te begrijpen. Beeld je gerust een zwarte doos in, maar dan wel één met veel regelknoppen die het gedrag van de doos beïnvloeden. Er is ook een in- en uitgang waar we signalen doorheen kunnen sturen. Die worden binnenin vervormd. Aan de regelknoppen kan je draaien. Meer zelfs: je kan de regelknoppen automatisch laten draaien met behulp van een algoritme totdat de doos doet wat jij wil. Niet met als doel om de wereld over te nemen, maar wel bijvoorbeeld om je een volgende Netflixserie aan te raden op basis van je kijkgedrag.
Hoewel je niet exact hoeft te weten wat er gebeurt in de doos, kan je wel kiezen waaruit de doos is opgebouwd. Dat bepaalt namelijk tot wat hij in staat is. Vaak is zo’n doos niks anders dan een computerprogramma, maar niets houdt je tegen om er ook andere dingen aan toe te voegen. Wat denk je van een vleugje kwantummechanica? In mijn thesis gebruikte ik kwantummechanische systemen als black box om baanbrekende informatieverwerking mogelijk te maken.
Rekenen met licht
If you think you understand quantum mechanics, you don’t understand quantum mechanics.
-Richard Feynman
Kwantummechanica is een fysische theorie die de natuur beschrijft op de schaal van atomen en nóg kleinere deeltjes. Ze staat erom bekend erg contra-intuïtief te zijn. De bekendste metafoor die dat beaamt is Schrödingers kat. Fysicus Erwin Schrödinger stelde namelijk dat mocht zijn kat zo klein zijn als aan atoom, dat ze dan levend en dood tegelijk zou kunnen zijn.
Dat soort contra-intuïtieve eigenschappen zijn fundamenteel in toepassingen als medicijnontwerp en steeds kleiner wordende elektronica. Veel mensen en nóg meer computers leveren daarom hard werk om dergelijke kwantummechanische systemen te analyseren, maar het is moeilijk om die systemen te simuleren op onze huidige computers. Wat als we nu computers zouden gebruiken die radicaal anders werken? Wat als we konden rekenen met fysica?
Information is physical.
-Rolf Landauer
Kwantumcomputers rekenen met bouwstenen uit de kwantummechanica. Voorbeelden van zulke bouwstenen zijn fotonen: de elementaire deeltjes waaruit licht is opgebouwd. Door fotonen af te sturen op een reeks daarvoor ontwikkelde hardware-componenten, kunnen we berekeningen maken.
Laat de kwantumcomputer z’n ding maar doen
Het grote probleem met kwantumcomputers is dat ze niet eenvoudig zijn om te maken. Alle exemplaren die vandaag bestaan, zijn moeilijk hanteerbaar. Gelukkig houdt dat ons niet tegen om ze nuttig te gebruiken.
Zo kunnen we proberen om kwantumcomputers helemaal niet te controleren. We stoppen er één in een zwarte doos, gooien de regelknoppen weg en sturen er simpelweg wat signalen naartoe. Als gevolg krijgen we ogenschijnlijk willekeurige output terug. Wat nu zo bijzonder is, is dat die output door het proces een deel van de contra-intuïtieve eigenschappen heeft overgenomen van de kwantumcomputer. Ook al weten we niet precies wat er gebeurde, loste de kwantumcomputer zo een deel van onze taak op. We zeggen dat de kwantumcomputer een reservoir is met relevante inwendige dynamica. Wat blijkt, is dat het achteraf volstaat om de output verder te verwerken met een simpel machine learning-algoritme – een ander zwart doosje mét een klein aantal regelknoppen – om de rest van de taak op te lossen. Kortom, we proberen de kwantummechanica in de eerste zwarte doos niet té veel te begrijpen, terwijl het tweede doosje over de noodzakelijke regelknoppen beschikt om het leerproces te voltooien.
Een gloednieuwe reservoircomputer
De figuur hieronder schetst de kwantum-reservoircomputer die ik tijdens mijn thesis ontwierp. De lijnen zijn baantjes waarin fotonen bewegen. Maak gerust de vergelijking met een knikkerbaan, maar vergeet niet dat we spelen met kwantummechanische knikkers. Aan de rode uiteinden zenden we herhaaldelijk fotonen naar het reservoir. In de lusjes onder de inputbaantjes bevinden zich andere fotonen die overbleven van de vorige input. In het grijze vierkant interageren de oude en nieuwe fotonen met elkaar op kwantummechanische wijze, zonder dat we exact hoeven te weten hoe. In de blauwe rechthoek krijgen we zo een hoop fotonen die informatie bevatten over meerdere vorige inputs. Het reservoir heeft met andere woorden een soort geheugen. Van de hoop fotonen gaat nu een deel naar de detector. De andere worden opnieuw naar de lusjes geleid. Achteraf worden de detecties die uit het reservoir komen, verwerkt met een machine learning-algoritme.
Tijdens mijn thesis maakte ik computersimulaties om tot een goed ontwerp te komen van dit systeem. Zo onderzocht ik welke componenten de rekenkracht van het systeem bevorderen, hoeveel baantjes en fotonen je wil gebruiken en hoelang het hele proces moet duren. Als finale test leerde ik het model een simpele taak. Ik zond herhaaldelijk een foton naar één van de bovenste twee baantjes. Welke van de twee werd beslist met ‘kop of munt’. Het model moest vervolgens aangeven op welke momenten ik wisselde van baantje. Op het eerste gezicht een banale opdracht, maar wel een die als basis dient voor veel andere taken. Aangezien het model hierin slaagde, kunnen we veronderstellen dat het klaar is om ook lastigere berekeningen te maken.
Conclusie
Tijdens mijn thesis ontwierp ik een nieuwe kwantum-reservoircomputer en toonde ik aan dat die er alvast in slaagt om een eenvoudige taak op te lossen. Dit werd nooit eerder gedaan met fotonen in een netwerk van eenvoudige componenten. Het grote voordeel van deze aanpak is dat er – in vergelijking met andere modellen – veel expertise is om dergelijke netwerken te produceren. Dit maakt het waarschijnlijk dat ons model sneller kan leiden tot een fysiek toestel dat taken kan oplossen die buiten het bereik liggen van klassieke computers.
Bibliografie
[1] E. Alpaydin, Introduction to machine learning. MIT press, 2020.
[2] J. Alzubi, A. Nayyar, and A. Kumar, “Machine learning from theory to al- gorithms: an overview,” in Journal of physics: conference series, vol. 1142, no. 1. IOP Publishing, 2018, p. 012012.
[3] M. A. Nielsen and I. Chuang, “Quantum computation and quantum informa- tion,” 2002.
[4] N. S. Yanofsky, “An introduction to quantum computing,” 2007.
[5] S. Cook, “The p versus np problem,” The millennium prize problems, pp. 87–104, 2006.
[6] A. W. Harrow and A. Montanaro, “Quantum computational supremacy,” Nature, vol. 549, no. 7671, pp. 203–209, 2017.
[7] P. W. Shor, “Polynomial-time algorithms for prime factorization and discrete logarithms on a quantum computer,” SIAM review, vol. 41, no. 2, pp. 303–332, 1999.
[8] M. Schuld, I. Sinayskiy, and F. Petruccione, “An introduction to quantum machine learning,” Contemporary Physics, vol. 56, no. 2, p. 172–185, Oct 2014. [Online]. Available: http://dx.doi.org/10.1080/00107514.2014.964942
[9] A. Krenker, J. Beˇster, and A. Kos, “Introduction to the artificial neural net- works,” Artificial Neural Networks: Methodological Advances and Biomedical Applications. InTech, pp. 1–18, 2011.
[10] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large- scale image recognition,” arXiv preprint arXiv:1409.1556, 2014.
[11] J. Von Neumann, “First draft of a report on the edvac,” IEEE Annals of the History of Computing, vol. 15, no. 4, pp. 27–75, 1993.
[12] B. Schrauwen, D. Verstraeten, and J. Van Campenhout, “An overview of reser- voir computing: theory, applications and implementations,” in Proceedings of the 15th european symposium on artificial neural networks. p. 471-482 2007, 2007, pp. 471–482.
[13] G. V. D. Sande, D. Brunner, and M. C. Soriano, “Review article Advances in photonic reservoir computing,” Nanophotonics, vol. 6, no. 3, pp. 561–576, 2017.
[14] A. Sherstinsky, “Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network,” CoRR, vol. abs/1808.03314, 2018. [Online]. Available: http://arxiv.org/abs/1808.03314
[15] G. Tanaka, T. Yamane, J. B. H´eroux, R. Nakane, N. Kanazawa, S. Takeda, H. Numata, D. Nakano, and A. Hirose, “Recent advances in physical reservoir computing: A review,” Neural Networks, vol. 115, pp. 100–123, 2019. [Online]. Available: https://www.sciencedirect.com/science/article/pii/ S0893608019300784
[16] D. Brunner, M. C. Soriano, and G. Van der Sande, Photonic Reservoir Com- puting: Optical Recurrent Neural Networks. Walter de Gruyter GmbH & Co KG, 2019.
[17] P. Mujal, R. Mart´ınez-Pen˜a, J. Nokkala, J. Garc´ıa-Beni, G. L. Giorgi, M. C. Soriano, and R. Zambrini, “Opportunities in quantum reservoir computing and extreme learning machines,” arXiv preprint arXiv:2102.11831, 2021.
[18] S. Ruder, “An overview of gradient descent optimization algorithms,” 2017.
[19] S. Sharma and S. Sharma, “Activation functions in neural networks,” Towards Data Science, vol. 6, no. 12, pp. 310–316, 2017.
[20] D. E. Rumelhart, R. Durbin, R. Golden, and Y. Chauvin, “Backpropagation: The basic theory,” Backpropagation: Theory, architectures and applications, pp. 1–34, 1995.
[21] A. Ng, K. Katanforoosh, and Y. Bensouda Mourri, “Lecture on gradient descent from the coursera neural networks and deep learn- ing course,” https://www.coursera.org/learn/neural-networks-deep-learning/ lecture/A0tBd/gradientdescent, 2021, accessed 18/05/21.
[22] L. Bottou, “Large-scale machine learning with stochastic gradient descent,” in Proceedings of COMPSTAT’2010. Springer, 2010, pp. 177–186.
[23] R. Pascanu, T. Mikolov, and Y. Bengio, “On the difficulty of training recurrent neural networks,” in International conference on machine learning. PMLR, 2013, pp. 1310–1318.
[24] W. Maass, T. Natschl¨ager, and H. Markram, “Real-Time Computing Without Stable States: A New Framework for Neural Computation Based on Perturbations,” Neural Computation, vol. 14, no. 11, pp. 2531–2560, 11 2002. [Online]. Available: https://doi.org/10.1162/089976602760407955
[25] M. Lukoˇseviˇcius and H. Jaeger, “Reservoir computing approaches to recurrent neural network training,” Computer Science Review, vol. 3, no. 3, pp. 127–149, 2009. [Online]. Available: https://www.sciencedirect.com/science/ article/pii/S1574013709000173
[26] C. Fernando and S. Sojakka, “Pattern recognition in a bucket,” in European conference on artificial life. Springer, 2003, pp. 588–597.
[27] Y. Paquot, F. Duport, A. Smerieri, J. Dambre, B. Schrauwen, M. Haelterman, and S. Massar, “Optoelectronic reservoir computing,” Scientific reports, vol. 2, no. 1, pp. 1–6, 2012.
[28] L. Larger, M. C. Soriano, D. Brunner, L. Appeltant, J. M. Guti´errez, L. Pes- quera, C. R. Mirasso, and I. Fischer, “Photonic information processing beyond turing: an optoelectronic implementation of reservoir computing,” Optics ex- press, vol. 20, no. 3, pp. 3241–3249, 2012.
[29] F. Duport, A. Smerieri, A. Akrout, M. Haelterman, and S. Massar, “Fully analogue photonic reservoir computer,” Scientific reports, vol. 6, no. 1, pp. 1–12, 2016.
[30] M. Schlosshauer, “Quantum decoherence,” Physics Reports, vol. 831, pp. 1– 57, 2019.
[31] J. Preskill, “Quantum computing in the nisq era and beyond,” Quantum, vol. 2, p. 79, 2018.
[32] P. A. Gagniuc, Markov chains: from theory to implementation and experiment- ation. John Wiley & Sons, 2017.
[33] B. Bylicka, D. Chru´scin´ski, and S. Maniscalco, “Non-markovianity and reservoir memory of quantum channels: a quantum information theory perspective,” Scientific reports, vol. 4, no. 1, pp. 1–7, 2014.
[34] J. P. Clemens, S. Siddiqui, and J. Gea-Banacloche, “Quantum error correction against correlated noise,” Physical Review A, vol. 69, no. 6, p. 062313, 2004.
[35] K. Fujii and K. Nakajima, “Harnessing disordered-ensemble quantum dynamics for machine learning,” Phys. Rev. Applied, vol. 8, p. 024030, Aug 2017. [Online]. Available: https://link.aps.org/doi/10.1103/PhysRevApplied. 8.024030
[36] M. Negoro, K. Mitarai, K. Fujii, K. Nakajima, and M. Kitagawa, “Machine learning with controllable quantum dynamics of a nuclear spin ensemble in a solid,” 2018.
[37] J. M. Pino, J. M. Dreiling, C. Figgatt, J. P. Gaebler, S. A. Moses, M. S. Allman, C. H. Baldwin, M. Foss-Feig, D. Hayes, K. Mayer, and et al., “Demonstration of the trapped-ion quantum ccd computer architecture,” Nature, vol. 592, no. 7853, p. 209–213, Apr 2021. [Online]. Available: http://dx.doi.org/10.1038/s41586-021-03318-4
[38] D. Lu, A. Brodutch, J. Park, H. Katiyar, T. Jochym-O’Connor, and R. La- flamme, “Nmr quantum information processing,” Electron Spin Resonance (ESR) Based Quantum Computing, pp. 193–226, 2016.
[39] J. Chen, H. I. Nurdin, and N. Yamamoto, “Temporal information processing on noisy quantum computers,” Physical Review Applied, vol. 14, no. 2, p. 1, 2020. [Online]. Available: https://doi.org/10.1103/PhysRevApplied.14.024065
[40] “Ibm quantum experience,” https://www.ibm.com/quantum-computing/, ac- cessed: 2021-05-26.
[41] T. Rudolph, “Why i am optimistic about the silicon-photonic route to quantum computing,” APL Photonics, vol. 2, no. 3, p. 030901, 2017.
[42] J. Nokkala, R. Mart, G. L. Giorgi, V. Parigi, M. C. Soriano, and R. Zambrini, “Gaussian states provide universal and versatile quantum reservoir computing,” arXiv preprint arXiv:2006.04821, pp. 1–13, 2020.
[43] L. C. G. Govia, G. J. Ribeill, G. E. Rowlands, H. K. Krovi, and T. A. Ohki, “Quantum reservoir computing with a single nonlinear oscillator,” Phys. Rev. Research, vol. 3, p. 013077, Jan 2021. [Online]. Available: https://link.aps.org/doi/10.1103/PhysRevResearch.3.013077
[44] M. D. Eisaman, J. Fan, A. Migdall, and S. V. Polyakov, “Invited review article: Single-photon sources and detectors,” Review of scientific instruments, vol. 82, no. 7, p. 071101, 2011.
[45] B. Lounis and M. Orrit, “Single-photon sources,” Reports on Progress in Phys- ics, vol. 68, no. 5, p. 1129, 2005.
[46] M. Cooper, L. J. Wright, C. S¨oller, and B. J. Smith, “Experimental generation of multi-photon fock states,” Opt. Express, vol. 21, no. 5, pp. 5309–5317, Mar 2013. [Online]. Available: http://www.opticsexpress.org/abstract.cfm?URI=oe-21-5-5309
[47] R. H. Hadfield, “Single-photon detectors for optical quantum information ap- plications,” Nature photonics, vol. 3, no. 12, pp. 696–705, 2009.
[48] J. Carolan, J. D. Meinecke, P. J. Shadbolt, N. J. Russell, N. Ismail, K. W¨orhoff, T. Rudolph, M. G. Thompson, J. L. O’brien, J. C. Matthews et al., “On the experimental verification of quantum complexity in linear optics,” Nature Photonics, vol. 8, no. 8, pp. 621–626, 2014.
[49] W. R. Clements, P. C. Humphreys, B. J. Metcalf, W. S. Kolthammer, and I. A. Walmsley, “Optimal design for universal multiport interferometers,” Optica, vol. 3, no. 12, pp. 1460–1465, 2016.
[50] R. Garc´ıa-Patr´on, J. J. Renema, and V. Shchesnovich, “Simulating boson sampling in lossy architectures,” Quantum, vol. 3, p. 169, 2019.
[51] S. Aaronson and A. Arkhipov, “The computational complexity of linear optics,” Proceedings of the Annual ACM Symposium on Theory of Computing, no. 0844626, pp. 333–342, 2011.
[52] A. Arkhipov and G. Kuperberg, “The bosonic birthday paradox,” Geometry & Topology Monographs, vol. 18, no. 1, pp. 10–2140, 2012.
[53] S. Scheel, “Permanents in linear optical networks,” arXiv preprint quant- ph/0406127, 2004.
[54] H. J. Ryser, “Combinatorial mathematics. the carus mathematical monographs, no. 14. published by the mathematical association of america; distributed by john wiley and sons,” Inc., New York, 1963.
[55] H. S. Zhong, H. Wang, Y. H. Deng, M. C. Chen, L. C. Peng, Y. H. Luo, J. Qin, D. Wu, X. Ding, Y. Hu, P. Hu, X. Y. Yang, W. J. Zhang, H. Li, Y. Li, X. Jiang, L. Gan, G. Yang, L. You, Z. Wang, L. Li, N. L. Liu, C. Y. Lu, and J. W. Pan, “Quantum computational advantage using photons,” Science, vol. 370, no. 6523, pp. 1460–1463, 2021.
[56] M. Schuld, I. Sinayskiy, and F. Petruccione, “The quest for a quantum neural network,” Quantum Information Processing, vol. 13, no. 11, pp. 2567–2586, 2014.
[57] A. A. Ezhov and D. Ventura, “Quantum neural networks,” in Future directions for intelligent systems and information sciences. Springer, 2000, pp. 213–235.
[58] M. Cerezo, A. Arrasmith, R. Babbush, S. C. Benjamin, S. Endo, K. Fujii, J. R. McClean, K. Mitarai, X. Yuan, L. Cincio et al., “Variational quantum algorithms,” arXiv preprint arXiv:2012.09265, 2020.
[59] K. Beer, D. Bondarenko, T. Farrelly, T. J. Osborne, R. Salzmann, D. Scheier- mann, and R. Wolf, “Training deep quantum neural networks,” Nature com- munications, vol. 11, no. 1, pp. 1–6, 2020.
[60] J. Preskill, “Quantum computing in the nisq era and beyond,” Quantum, vol. 2, p. 79, 2018.
[61] G. R. Steinbrecher, J. P. Olson, D. Englund, and J. Carolan, “Quantum optical neural networks,” npj Quantum Information, vol. 5, no. 1, pp. 1–9, 2019. [Online]. Available: http://dx.doi.org/10.1038/s41534-019-0174-7
[62] R. Loudon, The quantum theory of light. OUP Oxford, 2000.
[63] Memoization with decorators, https://www.python-course.eu/python3 memoization.php, accessed: 2021-05-25.
[64] D. M. Hawkins, “The problem of overfitting,” Journal of chemical information and computer sciences, vol. 44, no. 1, pp. 1–12, 2004.
[65] M. Jeruchim, “Techniques for estimating the bit error rate in the simulation of digital communication systems,” IEEE Journal on selected areas in commu- nications, vol. 2, no. 1, pp. 153–170, 1984.
[66] A. Ajiboye, R. Abdullah-Arshah, and Q. Hongwu, “Evaluating the effect of dataset size on predictive model using supervised learning technique,” Interna- tional Journal of Software Engineering and Computer Sciences, 2015.
[67] E. Gooskens, F. Laporte, C. Ma, S. Sackesyn, J. Dambre, and P. Bienstman, “The wavelength dimension in waveguide-based photonic reservoir computing,” Optics Express, vol. 1, no. 1, p. 10, 2021.
[68] “How to measure and reset a qubit in the middle of a cir- cuit execution,” https://www.ibm.com/blogs/research/2021/02/ quantum-mid-circuit-measurement/, accessed: 2021-05-24.
[69] “Quantum information 2019 by prof. gabriel teixeira landi,” http://www.fmt. if.usp.br/∼gtlandi/courses/qinfo19.html, accessed: 2021-05-24.
[70] N. Killoran, T. R. Bromley, J. M. Arrazola, M. Schuld, N. Quesada, and S. Lloyd, “Continuous-variable quantum neural networks,” Physical Review Research, vol. 033063, pp. 1–22, 2019.
[71] K. Vandoorne, P. Mechet, T. Van Vaerenbergh, M. Fiers, G. Morthier, D. Verstraeten, B. Schrauwen, J. Dambre, and P. Bienstman, “Experimental demonstration of reservoir computing on a silicon photonics chip,” Nature Communications, vol. 5, pp. 1–6, 2014. [Online]. Available: http://dx.doi.org/10.1038/ncomms4541
[72] F. A. Araujo, M. Riou, J. Torrejon, S. Tsunegi, D. Querlioz, K. Yakushiji, A. Fukushima, H. Kubota, S. Yuasa, M. D. Stiles et al., “Role of non-linear data processing on speech recognition task in the framework of reservoir com- puting,” Scientific reports, vol. 10, no. 1, pp. 1–11, 2020.
[73] G. Lindblad, “A general no-cloning theorem,” Letters in Mathematical Physics, vol. 47, no. 2, pp. 189–196, 1999.
[74] N. Killoran, T. R. Bromley, J. M. Arrazola, M. Schuld, N. Quesada, and S. Lloyd, “Continuous-variable quantum neural networks,” Phys. Rev. Research, vol. 1, p. 033063, Oct 2019. [Online]. Available: https://link.aps.org/doi/10.1103/PhysRevResearch.1.033063
[75] S. Dasgupta, K. E. Hamilton, P. Lougovski, and A. Banerjee, “Designing a nisq reservoir with maximal memory capacity for volatility forecasting,” arXiv preprint arXiv:2004.08240, 2020.
[76] J. Nokkala, R. Mart´ınez-Pen˜a, G. L. Giorgi, V. Parigi, M. C. Soriano, and R. Zambrini, “Gaussian states of continuous-variable quantum systems provide universal and versatile reservoir computing,” Communications Physics, vol. 4, no. 1, pp. 1–11, 2021. [Online]. Available: http://dx.doi.org/10.1038/s42005-021-00556-w
[77] C. S. Hamilton, R. Kruse, L. Sansoni, S. Barkhofen, C. Silberhorn, and I. Jex, “Gaussian boson sampling,” Physical review letters, vol. 119, no. 17, p. 170501, 2017.
[78] J. Dambre, D. Verstraeten, B. Schrauwen, and S. Massar, “Information pro- cessing capacity of dynamical systems,” Scientific reports, vol. 2, no. 1, pp. 1–7, 2012.
[79] T. Haug, K. Bharti, and M. S. Kim, “Capacity and quantum geometry of parametrized quantum circuits,” 2021.
[80] L. G. Wright and P. L. McMahon, “The capacity of quantum neural networks,” Optics InfoBase Conference Papers, vol. Part F181-CLEO-AT 2020, pp. 1–12, 2020.
