Autoencoder deep neural networks and their applications in solid-state physics
DOI (Low Temperature Physics):
https://doi.org/10.1063/10.0044110Ключові слова:
deep neural network, autoencoders, input–output JacobianАнотація
Досліджено спектральні властивості вхідно-вихідних якобіанів, що виникають в автоенкодерах глибоких нейронних мереж (DNN). Ці якобіани є вирішальними в різних застосуваннях DNN у фізиці твердого тіла, наприклад, як інструменти для виявлення фазових переходів. Вивчено DNN з випадковими, легкими ініціалізаціями вагових матриць та векторів зміщення. Виведено явний вираз для максимального сингулярного значення якобіана для довільної кількості шарів DNN, L. Максимальне сингулярне значення є важливою характеристикою, оскільки воно визначає властивості стискання та нерухомі точки автоенкодерів. Водночас низку фазових переходів у фізиці твердого тіла можна описати в термінах цих нерухомих точок. У границі великих L отримано рівняння, що описує розподіл сингулярних значень цих якобіанів, та запропоновано його точне рішення.
Посилання
P. Baldi and K. Hornik, “Neural networks and principal component analysis: Learning from examples without local minima,” Neural Networks 2, 53 (1989). https://doi.org/10.1016/0893-6080(89)90014-2
S. J. Wetzel, “Unsupervised learning of phase transitions: From principal component analysis to variational autoencoders,” Phys. Rev. E 96, 022140 (2017). https://doi.org/10.1103/PhysRevE.96.022140
A. Naravane and N. Mathur, Semi-supervised learning of order parameter in 2D ising and XY models using conditional variational autoencoders, arXiv:2306.16822 (2023).
C. Alexandrou, A. Athenodorou, Ch. Chrysostomou, and P. Srijit, “The critical temperature of the 2D-ising model through deep learning autoencoders,” Eur. Phys. J. B 93, 226 (2020). https://doi.org/10.1140/epjb/e2020-100506-5
K.-K. Ng, Ch.-Yu Huang, and Fm-Li Lin, “Berezinskii–kosterlitz–thouless transition from neural network flows,” Phys. Rev. E 108, 034104 (2023). https://doi.org/10.1103/PhysRevE.108.034104
A. A. Slutskin, V. V. Slavin, and H. A. Kovtun, “The ground state of the frozent electron phase in two-dimensional narrow-band conductors with a long-range interelectron repulsion. stripe formation and effective lowering of dimension,” Low Temp. Phys. 25, 702 (1999) [Fiz. Nizk. Temp. 25, 936 (1999)]. https://doi.org/10.1063/1.593801
A. A. Slutskin, V. V. Slavin, and H. A. Kovtun, “Ground state of a two-dimensional lattice system with a long-range interparticle repulsion: Stripe formation and effective lowering of dimension,” Phys Rev. B 61, 14184 (2000). https://doi.org/10.1103/PhysRevB.61.14184
V. V. Slavin, “Monte carlo simulation of a two-dimensional electron gas on a disordered host lattice,” Low Temp. Phys. 36, 243 (2010) [Fiz. Nizk. Temp. 36, 307 (2010)]. https://doi.org/10.1063/1.3331589
L. A. Pastur, V. V. Slavin, and A. A. Krivchikov, “Ground state of one-dimension repulsing particles on disordered lattice,” Int. J. Mod. Phys. C 25, 1450028 (2014). https://doi.org/10.1142/S0129183114500284
S.-H. Li and L. Wang, “Neural network renormalization group,” Phys. Rev. Lett. 121, 260601 (2018). https://doi.org/10.1103/PhysRevLett.121.260601
C. Bény, Deep learning and the renormalization group, arXiv:1301.3124 (2013).
M. Shukla, and A. D. Thakur, “An enquiry on similarities between renormalization group and auto-encoders using transfer learning,” Physica A 608, 128276 (2022). https://doi.org/10.1016/j.physa.2022.128276
P. Mehta and D. J. Schwab, An exact mapping between the variational renormalization group and deep learning, arXiv:1410.383 (2014).
M. Koch-Janusz and Z. Ringel, “Mutual information, neural networks and the renormalization group,” Nat. Phys. 14, 578 (2018). https://doi.org/10.1038/s41567-018-0081-4
J. Pennington, S. S. Schoenholz, and S. Ganguli, The emergence of spectral universality in deep networks, arXiv:1802.09979v1 (2018).
L. Pastur and V. Slavin, “On random matrices arising in deep neural networks: General I.I.D. case,” Random Matrices: Theory Appl. 12, 2250046 (2023). https://doi.org/10.1142/S2010326322500460
J. Hoffman, D. A. Roberts, and Sh. Yaida, Robust learning with jacobian regularization, arXiv:1908.02729v1 (2019).
L. Berlyand, O. Krupchytskyi, and V. Slavin, Random weights of DNNs and emergence of fixed points, arXiv:2501.04182 (2025).
C. H. Martin and M. W. Mahoney, “Implicit self-regularization in deep neural networks: Evidence from random matrix theory and implications for learning,” J. Mach. Learn. Res. 22, 1 (2021); arXiv:1810.01075 (2018).
J. Pennington and P. Worah, “Nonlinear random matrix theory for deep learning,” J. Stat. Mech.: Theory Exp. 2019, 124005 (2017). https://doi.org/10.1088/1742-5468/ab3bc3
H. K. Prakash and Ch. H. Martin, “Grokking and generalization collapse: Insights from HTSR theory,” arXiv:2506.04434 (2025).
K. Sato, Lévy Processes and Infinitely Divisible Distributions (Cambridge University Press, 1999), p. 486.
S. R. Dubey, S. K. Singh, and B. B. Chaudhuri, Activation functions in deep learning: A comprehensive survey and benchmark, arXiv:2109.14545 (2021).
B. V. Shabat, “Introduction to complex analysis. part II. functions of several variables, translations of mathematical monographs,” AMS 110, 371 (1992).https://doi.org/10.1090/mmono/110
V. Marchenko and L. Pastur, “The eigenvalue distribution in some ensembles of random matrices,” Math. USSR Sbornik 1, 457 (1967). https://doi.org/10.1070/SM1967v001n04ABEH001994
R. M. Corless, G. H. Gonnet, D. E. G. Hare, D. J. Jeffrey, and D. E. Knuth, “On the Lambert W function,” Adv. Comput. Math. 5, 329 (1996). https://doi.org/10.1007/BF02124750
