DOI: 10.14489/td.2025.08.pp.004-017
Кудрявцева И. С., Науменко А. П., Дышлевский В. А., Рольгейзер В. А. ВЕРОЯТНОСТНО-СТАТИСТИЧЕСКИЕ МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЙ: ПРИМЕНЕНИЕ ROC-АНАЛИЗА В ТЕХНИЧЕСКОЙ ДИАГНОСТИКЕ (с. 4-17)
Аннотация. Рассматриваются возможности применения вероятностно-статистических методов принятия решений для обнаружения полезной информации в сигналах при проведении неразрушающего контроля и технической диагностики. Представлено описание ROC-анализа как метода распознавания образов в сравнении с классическими методами теории принятия решений. Приводятся методика и пример использования ROC-анализа и метода наибольшего правдоподобия для определения граничного значения информативного признака события, позволяющего принять решение о справедливости основной или альтернативной гипотезы. Сделан вывод о математическом подобии ROC-анализа и метода наибольшего правдоподобия.
Ключевые слова: принятие решений, ROC-анализ, индекс Юдена, метод наибольшего правдоподобия, ошибка первого и второго рода, риск и достоверность принятия решения, матрица ошибок, акустическая эмиссия.
Kudryavtseva I. S., Naumenko A. P., Dyshlevsky V. A., Rolgazer V. A. PROBABILISTIC AND STATISTICAL METHODS OF DECISION-MAKING: APPLICATION OF ROC ANALYSIS IN TECHNICAL DIAGNOSTICS (pp. 4-17)
Abstract. The possibilities of using probabilistic and statistical decision-making methods to detect useful information in signals during non-destructive testing and technical diagnostics are considered. The description of ROC analysis as a method of pattern recognition in comparison with classical methods of decision theory is given. A methodology and an example of using ROC analysis and the maximum likelihood method to determine the boundary value of an informative feature of an event, allowing a decision to be made on the validity of the main or alternative hypotheses. The conclusion is made about the mathematical similarity of ROC analysis and the method of maximum likelihood.
Keywords: decision-making, ROC analysis, Yuden index, maximum likelihood method, error of the first and second kind, risk and reliability of decision-making, error matrix, acoustic emission.
И. С. Кудрявцева, А. П. Науменко (ФГБОУ ВО «Омский государственный технический университет», Омск, Россия) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
,
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
В. А. Дышлевский (ФГБОУ ВО «Омский государственный технический университет», ООО «ВС инжиниринг», Омск, Россия) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
В. А. Рольгейзер (ФГБОУ ВО «Омский государственный технический университет», ФГБОУ ВО «Омский государственный университет путей сообщения», Омск, Россия) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
I. S. Kudryavtseva, A. P. Naumenko (Federal State Autonomous Educational Institution of Higher Education Omsk State Technical University, Omsk, Russia) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
,
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
V. A. Dyshlevsky (Federal State Autonomous Educational Institution of Higher Education Omsk State Technical University, Omsk, Russia, VS Engineering LLC, Omsk, Russia) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
V. A. Rolgazer (Federal State Autonomous Educational Institution of Higher Education Omsk State Technical University, Omsk, Russia, Federal State Budgetary Educational Institution of Higher Education Omsk State Transport University, Omsk, Russia) E-mail:
Данный адрес e-mail защищен от спам-ботов, Вам необходимо включить Javascript для его просмотра.
1. Кудрявцева И. С., Науменко А. П., Демин А. М., Одинец А. И. Вероятностно-статистический критерий оценки состояния по параметрам виброакустического сигнала // Динамика систем, механизмов и машин. 2019. Т. 7, № 2. С. 113 ‒ 122. DOI: 10.25206/2310-9793-7-2-113-122 2. Кудрявцева И. С., Науменко А. П., Демин А. М. Критерии оценки вибросостояния объектов по параметрам характеристической функции сигнала // Омский научный вестник. 2019. № 4(166). С. 97 ‒ 104. DOI: 10.25206/1813-8225-2019-166-97-105 3. Демин А. М., Науменко А. П., Одинец А. И., Горчакова А. А. Оценка вероятностных ошибок контроля состояния теплообменного оборудования // Динамика систем, механизмов и машин. 2019. Т. 7, № 2. С. 95 ‒ 103. DOI: 10.25206/2310-9793-7-2-95-103 4. ГОСТ Р 56233‒2014. Контроль состояния и диагностика машин. Мониторинг состояния оборудования опасных производств. Вибрация стационарных поршневых компрессоров. М.: Стандартинформ, 2015. 19 с. URL: https://docs.cntd.ru/document/1200115097 (Дата обращения: 02.02.2025). 5. Алетдинова А. А., Курчеева Г. И. Математические методы в экономике. Новосибирск: Новосибирск. гос. техн. ун-т, 2024. 72 с. ISBN 978-5-7782-5261-5. 6. Боголюбский Д. Д. Применение байесовского подхода в управлении рисками энергетических систем // Актуальные проблемы энергетики ‒ 2021: Матер. студ. науч.-техн. конф., Минск, 25 – 29 окт. 2021 г. Минск: Белорусск. нац. техн. ун-т, 2021. С. 453 ‒ 458. 7. Золотых Е. С. Методический подход к принятию решений в процессе реализации сетевых атак на объектах информатизации органов внутренних дел // Вестник Воронежского института МВД России. 2024. № 2. С. 89 ‒ 97. 8. Шабунин С. И., Кондратьев А. Ю., Усов А. В., Рогожин С. С. Методика оценки уровня комплексной безопасности структурных подразделений Министерства обороны Российской Федерации, эксплуатирующих ядерно и радиационно опасные объекты // Вопросы оборонной техники. Сер. 16. Технические средства противодействия терроризму. 2024. № 1–2(187–188). С. 3 ‒ 13. DOI: 10.53816/23061456_2024_1-2_3 9. Мясоутов Р. Х. Создание системы распознавания пола человека по его почерку // Современная наука: актуальные проблемы теории и практики. Сер. Естественные и технические науки. 2020. № 7. С. 86 ‒ 90. DOI: 10.37882/2223-2966.2020.07.23 10. Саубанов О. М., Валеев А. Р., Акимов В. И. Апробация вероятностно-статистического метода принятия решений при составлении полосовых норм корпусной вибрации газотурбинных двигателей газоперекачивающих агрегатов // Транспорт и хранение нефтепродуктов и углеводородного сырья. 2021. № 4. С. 5 ‒ 11. DOI: 10.24412/0131-4270-2021-4-5-11 11. Шанов С. В., Чупин П. Г., Афонин А. Ю. Применение байесовского классификатора для определения тематики текста // Моделирование, оптимизация и информационные технологии. 2018. Т. 6, № 1(20). С. 131 ‒ 139. 12. Труханов В. М., Лазарев В. В. Планирование испытаний дорогостоящих объектов методом фиксированного объема // Вестник машиностроения. 2019. № 11. С. 3 ‒ 8. 13. Вероятность и математическая статистика: энциклопедия / гл. ред. Ю. В. Прохоров. М.: Большая рос. энцикл., 1999. 910 с. ISBN 5-85270-265-X. 14. ГОСТ Р 50779.10‒2000. Статистические методы. Вероятность и основы статистики. Термины и определения. М.: Госстандарт России, 2005. 46 с. URL: https://docs.cntd.ru/document/1200017686 (Дата обращения: 23.10.2024). 15. Stehman S. V. Selecting and Interpreting Measures of Thematic Classification Accuracy // Remote Sensing of Environment. 1997. V. 62, No. 1. P. 77 – 89. DOI:10.1016/S0034-4257(97)00083-7 16. Биргер И. А. Техническая диагностика. 2-е изд. М.: Ленанд, 2018. 238 с. ISBN 978-5-9710-6012-3 (Классика инженерной мысли: машиностроение). 17. Науменко А. П., Кудрявцева И. С., Одинец А. И. Вероятностно-статистические методы принятия решений: теория, примеры, задачи. Омск: Омск. гос. техн. ун-т, 2018. 108 с. ISBN 978-5-8149-2720-0. 18. Харкевич А. А. Борьба с помехами. 5-е изд., стер. М.: Либроком, 2018. 280 с. (Классика инженерной мысли. Радиотехника). 19. Бурлаков М. Е. Применение в задаче классификации SMS сообщений оптимизированного наивного байесовского классификатора // Известия Самарского научного центра РАН. 2016. Т. 18, № 4-4. С. 705 ‒ 709. 20. Вальд А. Последовательный анализ. М.: Физматгиз, 1960. 256 с. 21. Ширяев А. Н. Вероятностно-статистические методы в теории принятия решений. 2-е изд. М.: МЦНМО, 2014. 144 с. ISBN 978-5-4439-0247-0. 22. Лойд Д., Липов М. Надежность. М.: Советское радио, 1964. 687 с. 23. Машиностроение: энциклопедия. Т. IV-3. Надежность машин / В. В. Клюев, В. В. Болотин, Ф. Р. Соснин и др.; под общ. ред. В. В. Клюева. М.: Машиностроение, 2003. 592 с. 24. Green D. M., Swets J. A. Signal Detection Theory and Psychophysics. N. Y: John Wiley and Sons Inc., 1966. ISBN 0-471-32420-5. 25. Юдина Е. В., Зиганшина Л. Е. ROC-кривая // Научно-образовательный портал «Большая российская энциклопедия». 2024. № 5. DOI: 10.54972/00000001_2024_5_34 26. Hajian-Tilaki K. Receiver Operating Characteristic (ROC) Curve Analysis for Medical Diagnostic Test Evaluation // Caspian. J. Intern. Med. 2013. Vol. 4, No. 2. P. 627 ‒ 635. 27. Swets J. A. Indices of Discrimination or Diagnostic Accuracy: their ROCs and Implied Models // Psychological Bulletin. 1986. Vol. 99, No. 1. P. 100 – 117. 28. Zweig M. H., Campbell G. Receiver-Operating Characteristic (ROC) Plots: A Fundamental Evaluation Tool in Clinical Medicine // Clinical Chemistry. 1993. Vol. 39, No. 8. P. 561 ‒ 577. 29. Lusted L. B. Logical Analysis in Roentgen Diagnosis // Radiology. 1960. Vol. 74, No. 2. P. 178 – 193. 30. Dorfman D. D., Alf E. Maximum Likelihood Estimation of Parameters of Signal Detection Theory a Direct Solution // Psychometrika. 1968. Vol. 33, No. 1. P. 117 – 124. 31. Tharwat A. Classification Assessment Methods // Applied Computing and Informatics. 2021. Vol. 17, No. 1. P. 168 ‒ 192. 32. Choi S. S., Cha S. H., Tappert C. C. A Survey of Binary Similarity and Distance Measures // Journal of Systemics, Cybernetics and Informatics. 2010. Vol. 8, No. 1. P. 43 – 48. 33. Canbek G., Sagiroglu S., Temizel T. T., Baykal N. Binary Classification Performance Measures/metrics: A Comprehensive Visualized Roadmap to Gain New Insights // International Conference on Computer Science and Engineering, Antalya, Turkey, 5 – 8 Oct. 2017. Antalya, 2017. P. 821 – 826. 34. Youden W. J. Index for Rating Diagnostic Tests // Cancer. 1950. Vol. 3, No. 1. P. 32 – 35. DOI: 10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3. URL: https://acsjournals.onlinelibrary.wiley.com/doi/10.1002/1097-0142(1950)3:1%3C32::AID-CNCR2820030106%3E3.0.CO;2-3 (Дата обращения: 15.01.2025). 35. Старовойтов В. В., Голуб Ю. И. Сравнительный анализ оценок качества бинарной классификации // Информатика. 2020. Т. 17, № 1. С. 87 – 101. DOI: 10.37661/1816-0301-2020-17-1-87-101 36. Корнеенков А. А., Лиленко С. В., Лиленко А. С. и др. Возможности ROC-анализа для категоризации переменных в модели прогноза исхода оперативного лечения у пациентов с болезнью Меньера // Российская оториноларингология. 2018. № 4(95). С. 62 – 68. DOI: 10.18692/1810-4800-2018-4-62-68 37. Барат В. А. Развитие метода акустической эмиссии за счет автоматизации обработки данных, повышения помехоустойчивости и достоверности обнаружения трещиноподобных дефектов металлоконструкций: дис. ... д-ра техн. наук. М.: МЭИ, 2020. 306 с. 38. Растегаев И. А. Методы и средства обнаружения шумоподобных сигналов источников акустической эмиссии трибологической и гидродинамической природы на основе иерархического беспорогового спектрально-временного анализа: дис. ... д-ра техн. наук. Тольятти: Тольяттинск. гос. ун-т, 2022. 328 с. 39. Науменко А. П., Бурда Е.А., Дышлевский В. А. и др. Новые подходы к обнаружению сигналов акустической эмиссии // Информационно-измерительные и управляющие системы: межвуз. сб. науч. ст. Вып. 1(22) / под ред. П. К. Ланге. Самара: Самарск. гос. техн. ун-т, 2024. С. 98 ‒ 125.
1. Kudryavtseva, I. S., Naumenko, A. P., Demin, A. M., & Odinets, A. I. (2019). Probabilistic-statistical criterion for condition assessment based on vibroacoustic signal parameters. Dinamika Sistem, Mekhanizmov i Mashin, 7(2), 113–122. [in Russian language]. https://doi.org/10.25206/2310-9793-7-2-113-122 2. Kudryavtseva, I. S., Naumenko, A. P., & Demin, A. M. (2019). Criteria for assessing vibration conditions of objects based on signal characteristic function parameters. Omskiy Nauchnyy Vestnik, (4(166)), 97–104. [in Russian language]. https://doi.org/10.25206/1813-8225-2019-166-97-105 3. Demin, A. M., Naumenko, A. P., Odinets, A. I., & Gorchakova, A. A. (2019). Assessment of probabilistic errors in condition monitoring of heat exchange equipment. Dinamika Sistem, Mekhanizmov i Mashin, 7(2), 95–103. [in Russian language]. https://doi.org/10.25206/2310-9793-7-2-95-103 4. GOST R 56233-2014. (2015). Condition monitoring and machine diagnostics. Monitoring of hazardous production equipment. Vibration of stationary piston compressors. Standartinform. URL: https://docs.cntd.ru/document/1200115097 (Retrieved February 2, 2025) [in Russian language]. 5. Aletdinova, A. A., & Kurcheeva, G. I. (2024). Mathematical methods in economics. Novosibirsk State Technical University. ISBN 978-5-7782-5261-5. [in Russian language] 6. Bogolyubskiy, D. D. (2021). Application of Bayesian approach in risk management of energy systems. In Aktual'nye problemy energetiki - 2021: Materialy studencheskoy nauchno-tekhnicheskoy konferentsii (pp. 453–458). Belarusian National Technical University. [in Russian language]. 7. Zolotykh, E. S. (2024). Methodological approach to decision-making in the implementation of network attacks on informatization objects of internal affairs bodies. Vestnik Voronezhskogo Instituta MVD Rossii, (2), 89–97. [in Russian language] 8. Shanov, S. V., Kondratyev, A. Yu., Usov, A. V., & Rogozhin, S. S. (2024). Methodology for assessing the level of comprehensive security of structural divisions of the Ministry of Defense of the Russian Federation operating nuclear and radiation hazardous facilities. Voprosy Oboronnoy Tekhniki. Ser. 16. Tekhnicheskie Sredstva Protivodeystviya Terrorizmu, (1-2(187-188)), 3–13. [in Russian language]. https://doi.org/10.53816/23061456_2024_1-2_3 9. Myasoutov, R. Kh. (2020). Creating a system for recognizing human gender by handwriting. Sovremennaya Nauka: Aktual'nye Problemy Teorii i Praktiki. Ser. Estestvennye i Tekhnicheskie Nauki, (7), 86–90. [in Russian language]. https://doi.org/10.37882/2223-2966.2020.07.23 10. Saubanov, O. M., Valeev, A. R., & Akimov, V. I. (2021). Testing of probabilistic-statistical decision-making method when developing strip norms for hull vibration of gas turbine engines of gas pumping units. Transport i Khranenie Nefteproduktov i Uglevodorodnogo Syr'ya, (4), 5–11. [in Russian language]. https://doi.org/10.24412/0131-4270-2021-4-5-11 11. Shanov, S. V., Chupin, P. G., & Afonin, A. Yu. (2018). Application of Bayesian classifier for text topic determination. Modelirovanie, Optimizatsiya i Informatsionnye Tekhnologii, 6(1(20)), 131–139. [in Russian language]. 12. Trukhanov, V. M., & Lazarev, V. V. (2019). Planning tests of expensive objects using fixed-volume method. Vestnik Mashinostroeniya, (11), 3–8. [in Russian language]. 13. Prokhorov, Yu. V. (Ed.). (1999). Probability and mathematical statistics: Encyclopedia. Bolshaya Rossiyskaya Entsiklopediya. ISBN 5-85270-265-X. [in Russian language]. 14. GOST R 50779.10-2000. (2005). Statistical methods. Probability and fundamentals of statistics. Terms and definitions. Gosstandart Rossii. URL: https://docs.cntd.ru/document/1200017686 (Retrieved October 23, 2024) [in Russian language]. 15. Stehman, S. V. (1997). Selecting and interpreting measures of thematic classification accuracy. Remote Sensing of Environment, *62*(1), 77–89. https://doi.org/10.1016/S0034-4257(97)00083-7 16. Birger, I. A. (2018). Technical diagnostics (2nd ed.). Lenand. ISBN 978-5-9710-6012-3. [in Russian language]. 17. Naumenko, A. P., Kudryavtseva, I. S., & Odinets, A. I. (2018). Probabilistic-statistical decision-making methods: Theory, examples, problems. Omsk State Technical University. ISBN 978-5-8149-2720-0. [in Russian language]. 18. Kharkevich, A. A. (2018). Fighting interference (5th ed.). Librokom. [in Russian language]. 19. Burlakov, M. E. (2016). Application of optimized naive Bayesian classifier in SMS message classification task. Izvestiya Samarskogo Nauchnogo Tsentra RAN, *18*(4-4), 705–709. [in Russian language]. 20. Wald, A. (1960). Sequential analysis. Fizmatgiz. [in Russian language]. 21. Shiryaev, A. N. (2014). Probabilistic-statistical methods in decision theory (2nd ed.). MTSNMO. ISBN 978-5-4439-0247-0. [in Russian language]. 22. Lloyd, D., & Lipov, M. (1964). Reliability. Sovetskoye Radio. [in Russian language]. 23. Klyuev, V. V. (Ed.). (2003). Mechanical engineering: Encyclopedia. Vol. IV-3. Machine reliability. Mashinostroenie. [in Russian language]. 24. Green, D. M., & Swets, J. A. (1966). Signal detection theory and psychophysics. John Wiley and Sons Inc. ISBN 0-471-32420-5. 25. Yudina, E. V., & Ziganshina, L. E. (2024). ROC-curve. Nauchno-obrazovatel'nyy portal «Bol'shaya rossiyskaya entsiklopediya», (5). [in Russian language]. https://doi.org/10.54972/00000001_2024_5_34 26. Hajian-Tilaki, K. (2013). Receiver Operating Characteristic (ROC) Curve Analysis for Medical Diagnostic Test Evaluation. Caspian Journal of Internal Medicine, 4(2), 627–635. 27. Swets, J. A. (1986). Indices of discrimination or diagnostic accuracy: their ROCs and implied models. Psychological Bulletin, 99(1), 100–117. 28. Zweig, M. H., & Campbell, G. (1993). Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry, 39(8), 561–577. 29. Lusted, L. B. (1960). Logical analysis in roentgen diagnosis. Radiology, 74(2), 178–193. 30. Dorfman, D. D., & Alf, E. (1968). Maximum like-lihood estimation of parameters of signal detection theory a direct solution. Psychometrika, 33(1), 117–124. 31. Tharwat, A. (2021). Classification assessment methods. Applied Computing and Informatics, 17(1), 168–192. 32. Choi, S. S., Cha, S. H., & Tappert, C. C. (2010). A survey of binary similarity and distance measures. Journal of Systemics, Cybernetics and Informatics, 8(1), 43–48. 33. Canbek, G., Sagiroglu, S., Temizel, T. T., & Baykal, N. (2017). Binary classification performance measures/metrics: A comprehensive visualized roadmap to gain new insights. In International Conference on Computer Science and Engineering (pp. 821–826). 34. Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35. URL: https://acsjournals.online library.wiley.com/doi/10.1002/1097-0142(1950)3:1%3C32::AID-CNCR2820030106%3E3.0.CO;2-3 (Retrieved January 15, 2025). 35. Starovoitov, V. V., & Golub, Yu. I. (2020). Comparative analysis of binary classification quality metrics. Informatika, 17(1), 87–101. [in Russian language]. https://doi.org/10.37661/1816-0301-2020-17-1-87-101 36. Korneenkov, A. A., Lilenko, S. V., Lilenko, A. S., et al. (2018). Possibilities of ROC-analysis for variable categorization in outcome prediction model for surgical treatment of patients with Meniere's disease. Rossiyskaya Otorinolaringologiya, (4(95)), 62–68. [in Russian language]. https://doi.org/10.18692/1810-4800-2018-4-62-68 37. Barat, V. A. (2020). Development of acoustic emission method through data processing automation, noise immunity improvement and reliability enhancement of crack-like defect detection in metal structures [Doctoral dissertation, Moscow Power Engineering Institute]. [in Russian language]. 38. Rastegaev, I. A. (2022). Methods and means for detecting noise-like signals of tribological and hydrodynamic acoustic emission sources based on hierarchical threshold-free spectral-temporal analysis [Doctoral dissertation, Togliatti State University]. [in Russian language]. 39. Naumenko, A. P., Burda, E. A., Dyshlevskiy, V. A., et al. (2024). New approaches to acoustic emission signal detection. In P. K. Lange (Ed.), Informatsionno-izmeritel'nye i upravlyayushchie sistemy: mezhvuz. sb. nauch. st. (Vol. 1(22), pp. 98–125). Samara State Technical University. [in Russian language].
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/td.2025.08.pp.004-017
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/td.2025.08.pp.004-017
and fill out the form
.
|