И.В. Безменов
ФГУП «ВНИИФТРИ», Менделеево, Московская обл., Россия;
bezmenov@vniiftri.ru
«Альманах современной метрологии» № 2 (38) 2024, стр. 106–139
УДК 521.3 + 521.92
Аннотация. В статье рассматривается проблема поиска неизвестного тренда во временных рядах измерительных данных, генерируемых техническими устройствами. Решение этой проблемы тесно связано с задачей детектирования грубых измерений (выбросов), которые оказывают негативное влияние на точность оценок различных физических величин, получаемых при решении многих прикладных задач, в которых входными данными являются результаты измерений. Предложен метод поиска тренда, в основе которого лежит условие максимизации количества данных, очищенных от выбросов и используемых в дальнейшей обработке. Опорные значения, используемые для построения тренда, определяются в результате абсолютно сходящегося итерационного процесса, ядром которого является разработанный ранее автором метод минимизирующих наборов. На каждом шаге итерационного процесса тренд аппроксимируется функцией из заранее определённого функционального класса, зависящего от физической задачи.
Рассмотрены тестовые задачи по поиску тренда в трёх функциональных классах: степенных полиномов, тригонометрических функций с заданным набором частот, а также в классе гармонических функций с неизвестными частотами, фазами и амплитудами. В первых двух случаях параметры искомого тренда подбирались с помощью метода наименьших квадратов. В последнем случае образующие тренд функции нелинейно зависят от искомых параметров. Их поиск осуществлялся методом сопряжённых градиентов, обобщённым на нелинейные задачи. Продемонстрирована эффективность предложенного в статье метода: относительная погрешность найденных в последнем случае частот зашумлённых гармонических сигналов не превысила величины Предложенный метод определения тренда в измерительных данных может быть применён в задачах прогнозирования физических процессов, а также в задачах по детектированию выбросов в данных наблюдений. Очищенные от выбросов данные могут использоваться в информационно-измерительных системах различного типа, в системах с искусственным интеллектом, а также при решении научных, прикладных, управленческих и других задач с использованием современных вычислительных комплексов с целью получения максимально достоверного конечного результата.
Ключевые слова: информационно-измерительные системы, временные ряды, предварительная обработка данных, выбросы, очистка данных от выбросов, оптимальное решение, функциональный класс, поиск тренда.
Цитируемая литература
1. Dach R., Beutler G., Hugentobler U., Schaer S., Schildknecht T., Springer T., Dudle G., Prost L. Time transfer using GPS carrier phase: error propagation and results // Journal of Geodesy. — 2003. — V. 77. — № 1–2. — P. 1–14. — DOI: 10.1007/s00190-002-0296-z.
2. Донченко С.И., Блинов И.Ю., Норец И.Б., Смирнов Ю.Ф., Беляев А.А., Демидов Н.А., Сахаров Б.А., Воронцов В.Г. Характеристики долговременной нестабильности водородных стандартов частоты и времени нового поколения // Измерительная техника. — 2020. — № 1. — C. 35–39. — DOI: 10.32446/0368-1025it.2020-1-35-38.
3. Бакитько Р.В., Болденков Е.Н., Булавский Н.Т., Дворкин В.В., Ефименко B.C., Косенко В.Е., Нартов В.Я., Перов А.И., Перьков А.Е., Тюбалин В.В., Урличич Ю.М., Харисов В.Н., Чеботарев В.Е., Шатилов А.Ю. ГЛОНАСС: принципы построения и функционирования / под ред. А.И. Перова, В.Н. Харисова. — 4-е изд., перераб. и доп. — М.: Радиотехника, 2010. — 800 с.
4. Пасынок С.Л. Повышение точности определения параметров вращения Земли методом комбинирования результатов измерений различных видов в Главном метрологическом центре Государственной службы времени, частоты и определения параметров вращения Земли // Измерительная техника. — 2020. — № 1. — C. 39–44. — DOI: 10.32446/0368-1025it.2020-1-39-44.
5. Zharov V.E., Pasynok S.L. SAI-VNF VLBI Analysis Center in 2019–2020 // International VLBI Service for Geodesy and Astrometry 2019+2020 Biennial Report / Behrend D., Armstrong K.L., Baver K.D. — NASA/TP-20210021389, October 2021. — P. 258–259. — URL: https://ivscc.gsfc.nasa.gov/publications/br2019+2020/acsai-vniiftri.pdf (дата обращения: 02.02.2024).
6. Global Geodetic Observing System (GGOS). GGOS Requirements for Core Sites (Revision 2). Draft 3.4. — November 1, 2015. — 22 p. — URL: https://cddis.nasa.gov/docs/2015/SiteRecDoc_Rev2_D3.4.pdf (дата обращения: 02.02.2024).
7. Barnett V., Lewis T. Outliers in Statistical Data. — 3rd ed. — Chichester, UK: John Wiley & Sons, 1994. — 582 p.
8. Schubert E., Weiler M., Zimek A. Outlier detection and trend detection: two sides of the same coin // 2015 IEEE International Conference on Data Mining Workshop (ICDMW). November 14–17. Proceedings. — Atlantic City, NJ, USA: IEEE, 2015. — P. 40–46. — DOI: 10.1109/ICDMW.2015.79.
9. Blázquez-García A., Conde A., Mori U., Lozano J.A. A review on outlier/anomaly detection in time series data // ACM Computing Surveys. — 2021. — V. 54. — № 3. — P. 1–33. — DOI: 10.1145/3444690.
10. Dach R., Lutz S., Walser P., Fridez P., eds. Bernese GNSS Software Version 5.2. User manual. — Bern: Astronomical Institute, University of Bern, Bern Open Publishing, November 2015. — 852 p. — DOI: 10.7892/boris.72297.
11. Kermarrec G., Maddanu F., Klos A., Proietti T., Bogusz J. Modeling trends and periodic components in geodetic time series: a unified approach // Journal of Geodesy. — 2024. — V. 98. — Article number 17. — DOI: 10.1007/s00190-024-01826-5.
12. Chang K.-L., Schultz M.G., Lan X., McClure-Begley A., Petropavlovskikh I., Xu X., Ziemke J.R. Trend detection of atmospheric time series: incorporating appropriate uncertainty estimates and handling extreme events // Elementa: Science of the Anthropocene. — 2021. — V. 9. — № 1. — 00035. — DOI: 10.1525/elementa.2021.00035.
13. Melek W.W., Lu Z., Kapps A., Fraser W.D. Comparison of trend detection algorithms in the analysis of physiological time-series data // IEEE Transactions on Biomedical Engineering. — 2005. — V. 52. — № 4. — P. 639–651. — DOI: 10.1109/TBME.2005. 844029.
14. Mredula M.S., Dey N., Rahman M.S., Mahmud I., Cho Y.-Z. A review on the trends in event detection by analyzing social media platforms’ data // Sensors. — 2022. — V. 22. — № 12. — 4531. — DOI: 10.3390/s22124531.
15. Безменов И.В., Наумов А.В., Пасынок С.Л. Эффективный алгоритм устранения выбросов из данных измерений глобальных навигационных спутниковых систем // Измерительная техника. — 2018. — № 9. — С. 26–30. — DOI: 10.32446/0368-1025it-2018-9-26-30.
16. Безменов И.В. Быстрый алгоритм очистки от выбросов измерительных данных: поиск оптимального решения с минимальным количеством отбракованных результатов измерений // Альманах современной метрологии. — 2023. — № 4 (36). — С. 96–122.
17. Bezmenov I.V. Effective algorithms for detection outliers and cycle slip repair in GNSS data measurements // Satellite Systems — Design, Modeling, Simulation and Analysis / ed. T.M. Nguyen. — London, UK: IntechOpen, 2021. — P. 177–209. — DOI: 10.5772/intechopen.92658.
18. Безменов И.В., Игнатенко И.Ю., Пасынок С.Л. Новые методы достижения перспективного уровня точности координатно-временных измерений // Труды ИПА РАН. — 2022. — Вып. 60. — С. 12–20. — DOI: 10.32876/ApplAstron.60.12-20.
19. Безменов И.В. Метод очистки измерительных данных от выбросов: поиск оптимального решения с минимальным количеством отбракованных результатов измерений // Измерительная техника. — 2023. — № 1. — С. 16–23.
20. Bezmenov I.V. Fast algorithm for cleaning highly noisy measurement data from outliers, based on the search for the optimal solution with the minimum number of rejected measurement data // Metascience in Aerospace. — 2024. — V. 1. — № 1. — P. 110–129. — DOI: 10.3934/mina.2024005.
21. Katajainen J., Träff J.L. A meticulous analysis of mergesort programs // Algorithms and Complexity / Bongiovanni G., Bovet D.P., Di Battista G. (eds); CIAC. — Berlin; Heidelberg: Springer, 1997. — P. 217–228.
22. Безменов И.В., Дроздов А.Э., Пасынок С.Л. Стратегия поиска выбросов в рядах зашумлённых данных с неизвестным трендом // Измерительная техника. — 2022. — № 5. — C. 29–34.
Статья поступила в редакцию: 03.04.2024 г.
Статья прошла рецензирование: 07.04.2024 г.
Статья принята в работу: 08.04.2024 г.
Полные тексты статей доступны в печатных номерах журнала по подписке и при покупке отдельных номеров у издателя.
Также полные тексты статей размещаются в Научной электронной библиотеке eLIBRARY.