Е.Н. Цыба1, О.А. Волкова2, Н.А. Вострухов1
1 ФГУП «ВНИИФТРИ», Менделеево, Московская обл., Россия;
2 ООО «Мосинжиниринг Групп», Москва, Россия;
tsyba@vniiftri.ru
«Альманах современной метрологии» № 2 (38) 2024, стр. 150–160
УДК 004.032.2: 53.088
Аннотация. Обнаружение и обработка аномальных значений в наборе данных является критической проблемой машинного обучения. В работе выполнен анализ методов поиска аномалий во временных рядах измерительной информации; проанализированная информация систематизирована. Рассмотрен вопрос потенциального использования автокодировщиков в контексте обнаружения аномалий в измерительной информации на примере временных рядов координат станций ГНСС (MDVJ и IRKJ). Сделаны выводы, что автоэнкодеры позволяют обнаруживать аномалии временных рядов в достаточно полном объёме.
Ключевые слова: автоэнкодеры, аномалии, измерительная информация, нейро-сетевое моделирование.
Цитируемая литература
1. Zhu J., Ge Z., Song Z., Gao F. Review and big data perspectives on robust data mining approaches for industrial process modeling with outliers and missing data // Annual Reviews in Control. — 2018. — V. 46. — P. 107–133. — DOI: 10.1016/j.arcontrol.2018.09.003.
2. McClelland G.H. Nasty data: unruly, ill-mannered observations can ruin your analysis // Handbook of Research Methods in Social and Personality Psychology / Reis H.T., Judd Ch.M. — New York: Cambridge University Press, 2000. — P. 393–411.
3. Frénay B., Verleysen M. Reinforced extreme learning machines for fast robust regression in the presence of outliers // IEEE Transactions on Cybernetics. — 2016. — V. 46. — № 12. — P. 3351–3363. — DOI: 10.1109/TCYB.2015.2504404.
4. Wang X., Wang X., Wilkes M. Developments in unsupervised outlier detection research // New Developments Unsupervised Outlier Detection: Algorithms and Applications / Wang X., Wang X., Wilkes M. — Singapore: Springer Singapore, 2020. — P. 13–36. — DOI: 10.1007/978-981-15-9519-6.
5. Zimek A., Filzmoser P. There and back again: Outlier detection between statistical reasoning and data mining algorithms // WIREs Data Mining and Knowledge Discovery. — 2018. — V. 8. — № 6. — e1280. — DOI: 10.1002/widm.1280.
6. Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM Computing Surveys. — 2009. — V. 41. — № 3. — P. 1–58. — DOI: 10.1145/1541880.1541882.
7. Angelin B., Geetha A. Outlier detection using clustering techniques. — K-means and K-median // 4th International Conference on Intelligent Computing and Control Systems (ICICCS). Proceedings. — IEEE, 2020. — P. 373–378. — DOI: 10.1109/ICICCS48265.2020.9120990.
8. Bergman L., Hoshen Y. Classification-based anomaly detection for general data // 8th International Conference on Learning Representations (ICLR). Proceedings. — 2020. — P. 1–12.
9. Wahid A., Annavarapu Ch.S.R. NaNOD: A natural neighbour-based outlier detection algorithm // Neural Computing and Applications. — 2021. — V. 33. — № 6. — P. 2107–2123.
10. Domański P.D. Study on statistical outlier detection and labelling // International Journal of Automation and Computing. — 2020. — V. 17. — № 6. — P. 788–811.
11. Dong Y., Hopkins S.B., Li J. Quantum entropy scoring for fast robust mean estimation and improved outlier detection // Advances in Neural Information Processing Systems 32 (NeurIPS 2019). — 2019. — DOI: 10.48550/arXiv.1906.11366.
12. Shetta O., Niranjan M. Robust subspace methods for outlier detection in genomic data circumvents the curse of dimensionality // Royal Society Open Science. — 2020. — V. 7. — № 2. — 190714. — DOI: 10.1098/rsos.190714.
13. Li P., Niggemann O. Non-convex hull-based anomaly detection in CPPS // Engineering Applications of Artificial Intelligence. — 2020. — V. 87. — № C. — 103301. — DOI: 10.1016/j.engappai.2019.103301.
14. Borghesi A., Bartolini A., Lombardi M., Milano M., Benini L. Anomaly detection using autoencoders in high performance computing systems // 33rd AAAI Conference on Artificial Intelligence, 31st Innovative Applications of Artificial Intelligence Conference, 9th AAAI Symposium on Educational Advances in Artificial Intelligence. Proceedings. — 2019. — 1158. — P. 9428–9433. — DOI: 10.1609/aaai.v33i01.33019428.
15. Beckman R.J., Cook R.D. Outlier… … …. s // Technometrics. — 1983. — V. 25. — № 2. — P. 119–149. — DOI: 10.1080/00401706.1983.10487840.
16. Manoj K., Senthamarai K.K. Comparison of methods for detecting outliers // International Journal of Scientific and Engineering Research. — 2013. — V. 4. — № 9. — P. 709–714.
17. Zimmerman D.W. A note on the influence of outliers on parametric and nonparametric tests // The Journal of General Psychology. — 1994 (received), 2010 (published online). — V. 121. — № 4. — P. 391–401. — DOI 10.1080/00221309.1994.9921213.
18. Osborne J.W., Overbay A. The power of outliers (and why researchers should always check for them) // Practical Assessment, Research and Evaluation. — 2004. — V. 9. — Article 6. — DOI: 10.7275/qf69-7k43.
19. Lim F.P., Mohamed I.B., Ibrahim A.I.N., Goh S.L., Mohamed N.A., Rahman A. Outlier detection in 2 × 2 crossover design using Bayesian framework // Sains Malaysiana. — 2019. — V. 48. — № 4. — P. 893–899. — DOI: 10.17576/jsm-2019-4804-22.
20. Pollet T.V., Meij L. van der. To remove or not to remove: the impact of outlier handling on significance testing in testosterone data // Adaptive Human Behavior and Physiology. — 2017. — V. 3. — P. 43–60. — DOI: 10.1007/s40750-016-0050-z.
21. Abhaya A., Patra B.K. An efficient method for autoencoder based outlier detection // Expert Systems with Applications. — 2023. — V. 213. — Part A. — 118904. — DOI: 10.1016/j.eswa.2022.118904.
Статья поступила в редакцию: 20.12.2023 г.
Статья прошла рецензирование: 11.12.2023 г.
Статья принята в работу: 21.03.2024 г.
Полные тексты статей доступны в печатных номерах журнала по подписке и при покупке отдельных номеров у издателя.
Также полные тексты статей размещаются в Научной электронной библиотеке eLIBRARY.