МАТЕМАТИЧНЕ МОДЕЛЮВАННЯ ФЕДЕРАТИВНОГО НАВЧАННЯ МЕТОДОМ ПРОСТОЇ ІТЕРАЦІЇ
DOI:
https://doi.org/10.31319/2519-8106.1(50)2024.304775Ключові слова:
федеративне навчання, нерухома точка, проста ітерація, градiєнтний метод, оптимiзацiя, нерозтягуючий операторАнотація
У роботі описано математичну модель федеративного навчання та пошуку нерухомих точок методом простої ітерації та виконано оцінку ефективності модифікацій алгоритмів федеративного навчання, складених за даною моделлю.
При виконанні дослідження було проаналізовано існуючі підходи до технології федеративного навчання; досліджено відомі алгоритми федеративного навчання, визначено їх різновиди та властивості, проведено експериментальну оцінку їх ефективності. Розроблено модифікації існуючих алгоритмів федеративного навчання, напрямлені на отримання кращого результату навчання моделi при меншiй кiлькостi комунiкацiй мiж пристроєм та сервером, що є одним з основних напрямкiв покращення наявних алгоритмiв. Описано дві стратегії в розробці алгоритмів федеративного навчання для пошуку нерухомих точок: перша базується на фіксованій кількості локальних кроків, а друга базується на рандомізованих обчисленнях. В обох випадках метою стратегії є обмеження обміну локально обчисленими параметрами, що часто є вузьким місцем у розподілених структурах. Метою рандомізованих комунікацій є впровадження варіативності та стохастичності в процес комунікації та агрегації. Ця випадковість може служити кільком важливим цілям. Наприклад, рандомізовані комунікації можуть підвищити надійність алгоритмів федеративного навчання в сценаріях, коли дані між пристроями розподіляються неідентично. Завдяки введенню випадковості модель може адаптуватися до різноманітних розподілів даних, зменшуючи ризик перепідгонки до конкретних шаблонів, присутніх в окремих пристроях. Також рандомізовані комунікації можуть сприяти збереженню конфіденційності, запобігаючи зловмисникам розпізнавати конфіденційну інформацію про окремі пристрої на основі переданих оновлень.
Було виконано експериментальну перевірку розроблених модифікацій алгоритмів федеративного навчання тапідтверджено їх ефективність.
Завдяки отриманій математичній моделі збільшена швидкість збіжності при зменшенні раундів зв’язку, запропоновано стратегії для подальшої оптимізації алгоритмів федеративного навчання.
Посилання
Federated learning: collaborative machine learning without centralized training data. Google Research Blog. URL: https://blog.research.google/2017/04/federated-learning-collaborative.html
Contributors to Wikimedia projects. Federated learning - Wikipedia. Wikipedia, the free encyc-lopedia. URL: https://en.wikipedia.org/wiki/Federated_learning
Grigory Malinovsky, Dmitry Kovalev, Elnur Gasanov, Laurent Condat, Peter Richtárik (2020) From local SGD to local fixed-point methods for federated learning.Cornell University//arXiv. URL: https://arxiv.org/abs/2004.01442v2.
Nick Goudl Linesearch methods for unconstrained optimization. MSc course on nonlinear op-timization URL: https://www.numerical.rl.ac.uk/people/nimg/msc/lectures/
Banach fixed-point theorem. URL: https://en.wikipedia.org/wiki/Banach_fixed-point_theorem
Ryu E. K., Yin W. Large-Scale (2022) Convex Optimization: Algorithm Analysis Via Mono-tone Operators. Cambridge University Press, 319 p.
Bauschke H. H., Combettes P. L. (2017) Convex Analysis and Monotone Operator Theory in Hilbert Spaces. Springer,619 с.
Martin Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal Talwar, and Li Zhang (2016) Deep Learning with Differential Privacy. In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS ’16).
Qiang Yang, Yang Liu, Tianjian Chen, and Yongxin Tong (2018) Federated Learning. Communications of The CCF 14, 11, pp 49–55.
Raad Bahmani, Manuel Barbosa, Ferdinand Brasser, Bernardo Portela, Ahmad-Reza Sadeghi, Guillaume Scerri, and Bogdan Warinschi (2017) Secure Multiparty Computation from SGX. In Financial Cryptography and Data Security - 21st International Conference, FC 2017, Sliema, Malta, Revised Selected Papers,April 3-7, 2017, pp 477–497.
Abbas Acar, Hidayet Aksu, A. Selcuk Uluagac, and Mauro Conti (2018) A Survey on Homo-morphic Encryption Schemes: Theory and Implementation. ACM Comput. Surv. Vol. 51, Sssue 4, Article 79, pp 1–35.
Yue Zhao, Meng Li, Liangzhen Lai, Naveen Suda, Damon Civin, and Vikas Chandra (2018) Federated Learning with Non-IID Data.
arXiv:1806.00582[cs.LG]
Sinno Jialin Pan and Qiang Yang (2010) A Survey on Transfer Learning. IEEETransactions on Knowledge and Data Engineering, Vol. 22, No. 10, pp 1345–1359.
sklearn.linear_model.SGDClassifier https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.GDClassifier.html
LIBSVM Data: Classification (Binary Class) https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html#a9a
TkachukN., Volosova N. (2023) Federal learning algorithms based on searching for fixed points by simple iteration method// Problems of mathematical modeling: materials of the All-Ukrainian science and method. conference, May 24-26, 2023. Kamianske: DSTU, pp 93-94.
Volosova N., Tkachuk N. (2023) Mathematical modeling of federal learning by simple iteration method//Abstracts of XII International Scientific and Practical Conference. "Youth, education and science through today’s challenges", December 04-06, 2023, Bordeaux, France,pp 360-362.URL: https://eu-conf.com/ua/events/youth-education-and-science-through-today-s-challenges/
Federated learning: collaborative machine learning without centralized training data. Google Research Blog. URL: https://blog.research.google/2017/04/federated-learning-collaborative.html (дата звернення: 06.10.2023).
Contributors to Wikimedia projects. Federated learning - Wikipedia. Wikipedia, the free encyclopedia. URL: https://en.wikipedia.org/wiki/Federated_learning (дата звернення: 05.10.2023).
Grigory Malinovsky, Dmitry Kovalev, Elnur Gasanov, Laurent Condat, Peter RichtárikFrom lo-cal SGD to local fixed-point methods for federated learning.Cornell University//arXiv. 2020. URL: https://arxiv.org/abs/2004.01442v2(дата звернення: 01.12.2023).
Nick Goudl Linesearch methods for unconstrained optimization. MSc course on nonlinear opti-mization URL: https://www.numerical.rl.ac.uk/people/nimg/msc/lectures/(дата звернення: 1.12.2023).
Banach fixed-point theorem. URL: https://en.wikipedia.org/wiki/Banach_fixed-point_theorem (дата звернення: 07.10.2023).
Ryu E. K., Yin W. Large-Scale Convex Optimization: Algorithm Analysis Via Monotone Operators. Cambridge: Cambridge University Press, 2022. 319 p.
Bauschke H. H., Combettes P. L. Convex Analysis and Monotone Operator Theory in Hilbert Spaces. Springer, 2017. 619 p.
Martin Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal Talwar, and Li Zhang. 2016. Deep Learning with Differential Privacy. CCS '16: Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. October 2016. P. 308–318.https://doi.org/10.1145/2976749.2978318
Qiang Yang, Yang Liu, Tianjian Chen, and Yongxin Tong. Federated Learning. Communications of The CCF 14, 11. 2018. P.49–55.
Raad Bahmani, Manuel Barbosa, Ferdinand Brasser, Bernardo Portela, Ahmad-Reza Sadeghi, Guillaume Scerri, and Bogdan Warinschi. Secure Multiparty Computation from SGX. In Finan-cial Cryptography and Data Security - 21st International Conference, FC 2017, Sliema, Malta, Revised Selected Papers. April 3-7, 2017. P.477–497.
Abbas Acar, Hidayet Aksu, A. Selcuk Uluagac, and Mauro Conti. 2018. A Survey on Homomorphic Encryption Schemes: Theory and Implementation. ACM Computing Surveys.Volume 51. Issue 4. Article No.79. (July 2018). P.1–35.https://doi.org/10.1145/3214303
Yue Zhao, Meng Li, Liangzhen Lai, Naveen Suda, Damon Civin, and Vikas Chandra. Federated Learning with Non-IID Data. 2018.
arXiv:1806.00582 [cs.LG]https://doi.org/10.48550/arXiv.1806.00582(дата звернення: 2.12.2023).
Sinno Jialin Pan and Qiang Yang. 2010. A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, Vol. 22, No. 10, October 2010. P.1345–1359.
sklearn.linear_model.SGDClassifier https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html (дата звернення: 4.12.2023).
LIBSVM Data: Classification (Binary Class) https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html#a9a
(дата звернення: 4.12.2023).
Ткачук Н., Волосова Н. Federal learning algorithms based on searching for fixed points by sim-ple iteration method// Проблеми математичного моделювання: матеріали Всеукр. наук.-метод. конф., 24-26 трав. 2023 р. Кам’янське: ДДТУ, 2023. С. 93-94.
Volosova N., Tkachuk N. Mathematical modeling of federal learning by simple iteration me-thod//Abstracts of XII International Scientific and Practical Conference. "Youth, education and science through today’s challenges", December 04-06, 2023, Bordeaux, France. 2023. P. 360-362.URL: https://eu-conf.com/ua/events/youth-education-and-science-through-today-s-challenges/
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
a. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
b. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
c. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
