И.В. Безменов

ФГУП «ВНИИФТРИ», Менделеево, Московская обл., Россия
bezmenov@vniiftri.ru

«Альманах современной метрологии» № 4 (36) 2023, стр. 96–122

УДК 521.3 + 521.92

Аннотация. В этой статье рассматривается проблема автоматического детектиро­вания грубых измерений (выбросов) во временных рядах измерительных данных, генери­руемых техническими устройствами. Решение данной проблемы необходимо для повышения точ­ности оценок различных физических величин, получаемых при решении многих прикладных задач, в которых входными данными являются результаты измерений. Поскольку выбросы оказывают негативное влияние на точность получаемых результатов, то они должны быть обнаружены и удалены из дальнейших вычислений на стадии предварительной обработки и анализа данных. Это может быть сделано различными способами, так как понятие выброса не имеет строгого определения в статистике. Автором статьи ранее была сформулирована задача по поиску оптимального решения, удовлетворяющего условию максимизации количества измерительных данных, оставляемых после удаления выбросов, а также был предложен робастный алгоритм, гарантированно приводящий к решению с мини­мальным количеством отбракованных результатов измерений, если только оно существует. Сложность этого алгоритма оценивается величиной , где N — число ис­ход­ных данных, N_out — количество обнаруженных выбросов. Для сильно зашумлённых данных количество выбросов может оказаться чрезвычайно большим, например, сравнимым с N. В этом случае для отыскания оптимального решения с использованием разработанного ранее алгоритма потребуется порядка N² операций. В статье предложен новый алгоритм поиска оптимального решения, требующий арифметических операций, неза­ви­симо от числа обнаруженных выбросов. Эффективность алгоритма проявляется при очистке от выбросов больших объёмов сильно зашумлённых измерительных данных, содержащих большое количество выбросов. Алгоритм может быть применён для автома­тизированной очистки от выбросов данных наблюдений в информационно-измерительных системах, в системах с искусственным интеллектом, а также при решении различных научных, прикладных, управленческих и других задач с использованием современных вычис­лительных комплексов с целью получения максимально быстрого и достоверного конечного результата.

Ключевые слова: информационно-измерительные системы, временные ряды, предвари­тельная обработка данных, выбросы, очистка данных от выбросов, оптимальное решение.

Цитируемая литература

1. Dach R., Beutler G., Hugentobler U., et al. Time transfer using GPS carrier phase: error propagation and results // Journal of Geodesy. — 2003. — V. 77. — No. 1–2. — P. 1–14.

2. Донченко С.И., Блинов И.Ю., Норец И.Б., Смирнов Ю.Ф., Беляев А.А., Демидов Н.А., Сахаров Б.А., Воронцов В.Г. Характеристики долговременной нестабильности водородных стандартов частоты и времени нового поколения // Измерительная техника. — 2020. — № 1. — C. 35–38.

3. Перов А.И., Харисов В.Н. ГЛОНАСС: принципы построения и функционирования. — Изд. 4-е, перераб. и доп. — М.: Радиотехника, 2010.

4. Пасынок С.Л. Повышение точности определения параметров вращения Земли методом комбинирования результатов измерений различных видов в Главном метрологическом центре Государственной службы времени, частоты и определения параметров вращения Земли // Измерительная техника. — 2020. — № 1. — C. 39–44.

5. Zharov V.E., Pasynok S.L. SAI-VNF VLBI Analysis Center in 2019–2020 // Astrometry IVS 2019–2020 Annual Report. — NASA/TP–0210021389, 2021. — P. 258–259. URL: https://ivscc.gsfc.nasa.gov/publications/br2019+ 2020/acsai-vniiftri.pdf.

6. International GNSS Service. — URL: http://www.igs.org/network (accessed: 05.04.2022).

7. Bernese GNSS Software Version 5.2. User manual / ed. Dach R., Lutz S., Walser P., Fridez P. — Bern: Astronomical Institute, University of Bern, Bern Open Publishing, 2015.

8. Mehlstäubler T.E., Grosche G., Lisdat C., Schmidt P.O., Denker H. Atomic clocks for geodesy // Reports on Progress in Physics. — 2018. — V. 81. — No. 6. — 064401.

9. Levine J. A review of time and frequency transfer methods // Metrologia. — 2008. — 45. — S162–S174.

10. Карауш А.А. Автоматическая система сличения и прогнозирования расхождений шкал времени удалённых эталонов времени на основе фазовых измерений глобальных навигационных спутниковых систем // Измерительная техника. — 2022. — № 9. — C. 40–44.

11. Riley W.J. Handbook of Frequency Stability Analysis. — Washington: National Institute of Standards and Technology, 2008.

12. Безменов И.В., Игнатенко И.Ю., Пасынок С.Л. Новые методы достижения перспективного уровня точности координатно-временных измерений // Труды ИПА РАН. — 2022. — Вып. 60. — С. 12–20.

13. Blazquez-Garcia A., Conde A., Mori U., Lozano J.A. A Review on Outlier / Anomaly Detection in Time Series Data // ACM Computing Surveys. — 2021. — V. 54. — I. 3. — P. 1–33.

14. Безменов И.В., Наумов А.В., Пасынок С.Л. Эффективный алгоритм устранения выбросов из данных измерений глобальных навигационных спутниковых систем // Измерительная техника. — 2018. — № 9. — С. 26–30.

15. Bezmenov I.V. Effective Algorithms for Detection Outliers and Cycle Slip Repair in GNSS Data Measurements // Satellite Systems: Design, Modeling, Simulation and Analysis / ed. Tien M. Nguyen. — London, UK: IntechOpen, 2021. — P. 177–209.

16. Безменов И.В. Метод очистки измерительных данных от выбросов: поиск оптимального решения с минимальным количеством отбракованных результатов измерений // Измерительная техника. — 2023. — № 1. — С. 16–23.

17. Безменов И.В., Дроздов А.Э., Пасынок С.Л. Стратегия поиска выбросов в рядах зашумлённых данных с неизвестным трендом // Измерительная техника. — 2022. — № 5. — C. 29–34.

18. Ивченко Г.И., Медведев Ю.И. Выборочные моменты: точная и асимптотическая теория // Введение в математическую статистику. — М.: Издательство ЛКИ, 2010.

19. Katajainen J., Träff J.L. A meticulous analysis of mergesort programs // Algorithms and Complexity / Bongiovanni G., Bovet D.P., Di Battista G. (eds); CIAC. — Berlin; Heidelberg: Springer, 1997. — P. 217–228.

Статья поступила в редакцию: 08.11.2023 г.
Статья прошла рецензирование: 09.11.2023 г.
Статья принята в работу: 10.11.2023 г.

Статья в полном объеме в Научной электронной библиотеке eLIBRARY.
Оформить подписку и купить печатные номера журнала у издателя.