Autoencoder deep neural networks and their applications in solid-state physics
Ключові слова:
deep neural network, autoencoders, input–output JacobianАнотація
Досліджено спектральні властивості вхідно-вихідних якобіанів, що виникають в автоенкодерах глибоких нейронних мереж (DNN). Ці якобіани є вирішальними в різних застосуваннях DNN у фізиці твердого тіла, наприклад, як інструменти для виявлення фазових переходів. Вивчено DNN з випадковими, легкими ініціалізаціями вагових матриць та векторів зміщення. Виведено явний вираз для максимального сингулярного значення якобіана для довільної кількості шарів DNN, L. Максимальне сингулярне значення є важливою характеристикою, оскільки воно визначає властивості стискання та нерухомі точки автоенкодерів. Водночас низку фазових переходів у фізиці твердого тіла можна описати в термінах цих нерухомих точок. У границі великих L отримано рівняння, що описує розподіл сингулярних значень цих якобіанів, та запропоновано його точне рішення.
