Predicting the Likelihood of Operational Risk Occurrence in the Banking Industry Using Machine Learning Algorithms

Document Type : Research Paper

Authors

1 Ph.D. Candidate, Department of Industrial Engineering, Faculty of Industrial & Systems Engineering, Tarbiat Modares University, Tehran, Iran

2 Assistant Professor, Department of Systems and Productivity Management, Faculty of Industrial & Systems Engineering, Tarbiat Modares University, Tehran, Iran

3 Associate Professor, Department of System and Productivity Management, Faculty of Industrial and Systems Engineering, Tarbiat Modares University, Tehran, Iran

4 Associate Professor, Department of Information Technology Engineering, Faculty of Industrial and Systems Engineering, Tarbiat Modares University, Tehran, Iran

Abstract

This study investigates and predicts the likelihood of operational risk occurrence in the banking industry using machine learning algorithms. The primary objective is to analyze operational risk data and evaluate the performance of various machine learning models to develop effective tools for enhancing risk management and minimizing financial losses in banks and financial institutions. Operational risk data were collected, pre-processed, and then used for predictions with machine learning models, including Random Forest (RF), Decision Tree (DT), Support Vector Machine (SVM), Logistic Regression (LR), Naïve Bayes (NB), and k-Nearest Neighbors (KNN). Model performance was assessed using evaluation metrics such as accuracy, precision, recall, F1-score, and the Area Under the Curve (AUC) to determine the most effective model for risk prediction. The findings indicate that the RF and SVM algorithms outperform other models in predicting operational risk across all scenarios. Furthermore, the results demonstrate the strong predictive capability of machine learning algorithms in assessing operational risk, highlighting their potential as valuable decision-making tools for risk management in the banking sector.
Keywords: Risk Prediction, Operational Risk, Risk Management, Machine Learning
 
Introduction
Operational risk is defined as the risk arising from external factors or failures in internal controls or information systems, which may lead to both anticipated and unexpected losses (Crouchy et al., 1998). Lopez (2002) characterizes it as any unquantifiable risk that a bank may encounter. According to the Basel II Agreement, operational risk refers to the probability of loss resulting from deficiencies, breakdowns, or inefficiencies in human resources, processes, technologies, infrastructure, or internal and external events (Pena et al., 2018).
To estimate the capital required to cover operational risk, the Basel framework introduces three approaches: the Basic Indicator Approach (BIA), the Standardized Approach (SA), and the Advanced Measurement Approach (AMA) (Mora Valencia, 2010; Mora Valencia et al., 2017). The BIA and SA estimate capital requirements based on annual gross income, with the key distinction being that the SA categorizes a bank’s activities into eight business lines. Under the BIA, an alpha coefficient (α) of 15% is applied, whereas in the SA, each business line has a specific beta coefficient (β) ranging between 12% and 18%. The AMA employs both quantitative and qualitative methods for operational risk modeling, leveraging databases to collect statistical data and utilizing the loss distribution approach (LDA) to model frequency and severity distributions. Capital coverage is then determined based on the cumulative distribution of these variables. Since the LDA is data-driven, the Basel framework (BCBS, 2004) emphasizes the necessity of a robust database for collecting operational risk data. Four key databases are required: internal loss event data, external loss event data, scenario-based analysis data, and a database of business environment and internal control factors.
Compared to other banking risks, such as credit and market risks, measuring, monitoring, and managing operational risk is considerably more complex. This risk has gained increasing attention in recent years, as large operational losses have led to the liquidation of financial institutions (Abdymomunov et al., 2020; Afonso et al., 2019). Crisanto and Perino (2017) identify cyber threats and cyber fraud as critical factors influencing operational risk capital estimation. These risks have intensified with the growth of electronic banking services and include illegal access, system disruptions, and the misuse or theft of digital assets for financial gain (BCBS, 2016; Drew & Farrell, 2018). To quantify potential losses in electronic banking transactions, Bouveret (2018) proposed a Bayesian Network (BN) model to estimate operational risk capital requirements in financial institutions.
Machine learning has emerged as one of the most promising yet challenging approaches in modern finance (Tsai & Wu, 2008). These methods have transformed the financial industry, with deep learning (DL) being extensively studied and applied due to its adaptability and predictive capabilities (Ivanov, 2019). Pena et al. (2021) employed a fuzzy convolutional deep learning model to estimate the maximum operational risk value at a 99.9% confidence level. Similarly, Zhou et al. (2020) utilized semi-supervised machine learning algorithms to classify operational risks based on financial news, analyzing 5,843 documents from financial articles and newspapers in the Asia-Pacific region between February and March 2019. Their model demonstrated the capability to predict various types of risks in the banking industry. In another study, Akbari and Yazdanian (2023) applied machine learning algorithms to determine optimal thresholds for operational loss severity data, classifying the data and estimating the capital required to cover operational risk by integrating severity and frequency distribution functions with Monte Carlo simulation.
 
Method and Data
In this study, operational risk data were collected, pre-processed, and then used for predictions with machine learning models, including RF, DT, SVM, LR, NB, and KNN. The models' performance was assessed using evaluation metrics such as accuracy, precision, recall, F1-score, and AUC to identify the most effective model for predicting the likelihood of risk occurrence.
 
Findings
The results indicate that the RF and SVM algorithms exhibit strong performance in predicting operational risk across all scenarios. Specifically, the RF algorithm achieved an accuracy of 0.9690, while the SVM algorithm attained an accuracy of 0.9587 in State 1, making them the most effective models in this setting. Both algorithms demonstrated comparable performance across other modes.
 
Conclusion and Discussion
This study analyzes and predicts operational risk occurrence in the banking industry using machine learning algorithms. The findings indicate that various algorithms, particularly RF and SVM, demonstrate strong predictive performance. These results have the potential to transform operational risk management in banks, leading to significant reductions in associated costs and losses.
A key insight from this study is that leveraging large and diverse datasets can substantially enhance prediction accuracy. Machine learning models can process complex datasets, identify hidden patterns, and facilitate early risk detection, enabling banks to implement preventive measures before risks materialize. Moreover, integrating machine learning into risk management enhances decision-making by providing precise, data-driven predictions, allowing for more effective strategies and efficient resource allocation.
Future research could incorporate additional data, such as historical records, economic indicators, and internal process information, to further improve prediction accuracy. With advancements in technology, more sophisticated techniques—such as reinforcement learning methods (e.g., DQN, Q-Learning, DDPG, and Meta-Learning)—could enhance the accuracy and efficiency of operational risk prediction models.

Keywords

Main Subjects


مقدمه

امروزه ریسک عملیاتی به‌عنوان یکی از ریسک‌های کلیدی در صنعت بانکداری شناخته می‌شود. توجه به این نوع ریسک پس از وقوع بحران‌های مالی جهانی افزایش یافته است. در صنعت بانکداری، اقدامات متعددی به‌منظور مدیریت ریسک عملیاتی انجام شده است (González-Carrasco et al., 2019; Hoffman, 2002). طبق توافق‌نامۀ بال 2، ریسک عملیاتی به معنای احتمال متحمل‌شدن زیان ناشی از وقایع داخلی مانند نقص‌ها و نارسایی‌ها در فرایندها، سیستم‌ها، افراد و وقایع خارجی است (Bank for International Settlements, 2016). به‌منظور کاهش پیامدهای منفی ریسک عملیاتی، مؤسسات مالی باید به مدیریت این ریسک توجه ویژه‌ای داشته باشند. کمیتۀ بال ریسک عملیاتی را به هفت دسته تقسیم کرده است که شامل تقلب داخلی، تقلب خارجی، روابط کار، مشتریان، آسیب به دارایی‌های ثابت، خرابی‌های فناورانه و نارسایی در اجرای فرایندها و مدیریت آنها است (Elarif & Hinti, 2014).

زیان‌های درخور توجهی که مؤسسات مالی و غیرمالی از ناحیۀ فرایندها و عوامل غیراعتباری و غیربازاری متحمل شده‌اند، سبب جلب توجه مدیران و تصمیم‌گیران به حوزۀ ریسک عملیاتی شده است. مدیریت ریسک عملیاتی یکی از مباحث برجسته در صنعت بانکداری است که تأثیر چشمگیری بر عملکرد بانک‌ها و مؤسسات مالی دارد. بررسی‌های انجام‌شده نشان می‌دهد که پژوهشگران به زوایای مختلف این ریسک پرداخته‌اند. برخی بر تعریف ریسک، برخی بر طبقه‌بندی رویدادهای مرتبط، برخی بر اندازه‌گیری و ویژگی‌های مدیریت ریسک و گروهی دیگر بر تحلیل‌های مقایسه‌ای تأکید دارند (Barakat & Hussainey, 2013). ریسک عملیاتی زمانی مطرح می‌شود که یک سازمان نتواند عملیات خود را به‌درستی انجام دهد. ادامۀ این وضعیت می‌تواند به افت عملکرد سازمان و کاهش نرخ بازدۀ سرمایه‌گذاری منجر شود (Basel Committee on Banking Supervision, 2006). به‌طورکلی، ریسک عملیاتی به دلیل مجموعه‌ای از احتمالات بروز خطا و نقص در عملیات خاص بنگاه تجاری یا مالی به وجود می‌آید (Wang & Hsu, 2013).

مدیریت ریسک عملیاتی یکی از چالش‌های مدیریت ریسک است که صنعت بانکداری با آن روبه‌رو است؛ بنابراین، پژوهش حاضر با هدف رفع چالش مدیریت ریسک عملیاتی انجام شده است. سؤال اصلی پژوهش این است که چگونه می‌توان با استفاده از داده‌های ریسک عملیاتی بانک و الگوریتم‌های یادگیری ماشین، احتمال وقوع ریسک عملیاتی را پیش‌بینی کرد و بهترین الگوریتم‌‌ برای این پیش‌بینی کدام است؛ بنابراین، این سؤال شامل دو بخش پیش‌بینی احتمال وقوع ریسک عملیاتی براساس داده‌های ریسک عملیاتی و ارزیابی و انتخاب بهترین الگوریتم یادگیری ماشین برای پیش‌بینی احتمال وقوع ریسک عملیاتی است. پژوهش حاضر رویکردی جدید برای مدیریت ریسک عملیاتی ارائه می‌دهد و این پژوهش به دنبال طراحی مدلی است که بتواند احتمال وقوع ریسک عملیاتی را پیش‌بینی کند.

 

مبانی نظری

ریسک عملیاتی به‌عنوان ریسکی تعریف می‌شود که از عوامل خارجی یا نقص در کنترل‌های داخلی یا سیستم‌های اطلاعاتی ناشی می‌شود و می‌تواند به زیان منجر شود؛ خواه این زیان پیش‌بینی‌شده باشد یا غیرمنتظره (Crouchy et al., 1998). توافق‌نامۀ بال 2، ریسک عملیاتی را به‌عنوان احتمال زیان ناشی از کمبودها، خرابی‌ها یا نارسایی‌ها در منابع انسانی، فرایندها، فناوری‌ها، زیرساخت‌ها یا رویدادهای داخلی و خارجی تعریف می‌کند (Pena et al., 2018). پسالجک (Posavljak, 2024) تعریف ریسک عملیاتی را در قالب چالش‌های زیرساختی و پشتیبانی از تصمیم‌گیری در مدیریت دارایی‌ها بیان می‌کند. ریسک عملیاتی در بانکداری به‌عنوان تهدیدات مرتبط با فرایندهای روزمره شامل امنیت زیرساخت‌ها، دقت داده‌ها و سیاست‌های مدیریتی تعریف می‌شود. ریسک عملیاتی شامل اختلالات ناشی از دیجیتالی‌شدن در فرایندهای بانکی، اتوماسیون و چالش‌های نظارتی مرتبط با فناوری مالی تعریف شده است (Rahman et al., 2024).

براساس توافق‌نامۀ بال، برای تخمین سرمایۀ لازم برای پوشش ریسک‌های عملیاتی، سه رویکرد شاخص پایه، استاندارد و اندازه‌گیری پیشرفته معرفی شده است (Mora-Valencia, 2010; Mora-Valencia & Zapata-Jaramillo, 2017). رویکرد شاخص پایه و استاندارد براساس درآمد ناخالص سالیانه سرمایۀ پوششی را تخمین می‌زنند، با این تفاوت که در رویکرد استاندارد، فعالیت‌های بانک به 8 خط کسب‌وکار[1] تقسیم می‌شود. در رویکرد شاخص پایه از ضریب آلفا (α) 15درصد استفاده می‌شود؛ اما در رویکرد استاندارد هر خط کسب‌وکار ضریب بتا (β) مربوط به خود را دارد که بین 12 تا 18درصد است. رویکرد اندازه‌گیری پیشرفته شامل روش‌های کمّی و کیفی برای مدل‌سازی ریسک عملیاتی است. این روش شامل استفاده از پایگاه داده‌هایی برای جمع‌آوری داده‌های آماری لازم است و از روش توزیع زیان برای برازش توزیع‌های فراوانی و شدت استفاده می‌کند. سرمایۀ پوششی براساس توزیع تجمعی فراوانی و شدت محاسبه می‌شود. روش توزیع زیان روشی داده‌محور است و برای محاسبۀ ریسک عملیاتی نیاز به داده دارد؛ بنابراین، طبق توافق‌نامۀ بال 2 نیاز به پایگاه داده برای جمع‌آوری دادۀ لازم وجود دارد. برای جمع‌آوری داده‌های ریسک عملیاتی، چهار پایگاه داده لازم است: پایگاه دادۀ داخلی[2]، پایگاه دادۀ خارجی[3]، پایگاه دادۀ تجزیه‌وتحلیل مبتنی‌بر سناریو[4] و پایگاه دادۀ عوامل محیط کسب‌و‌کار و کنترل داخلی[5] (Bank for International Settlements, 2004).

برای مدیریت اثربخش ریسک‌های عملیاتی، درک دقیق ابعاد و مؤلفه‌های آن امری ضروری است. (Naderi & Rastegar, 2022) در پژوهشی که با استفاده از روش فراترکیب انجام‌ شده است، چارچوبی جامع برای اجزای مدیریت ریسک عملیاتی در صنعت بانکداری ارائه داده‌اند. در این پژوهش با تحلیل و ترکیب یافته‌های مطالعات پیشین، جنبه‌های مختلف این نوع ریسک شناسایی و طبقه‌بندی شده است. این چارچوب به مدیران بانکی کمک می‌کند تا دیدگاهی ساختاریافته به مدیریت ریسک عملیاتی داشته باشند و اقدامات مناسب‌تری برای کاهش اثرات آن طراحی کنند. ریسک‌های عملیاتی در نظام بانکی اسلامی از موضوعات پرکاربرد در پژوهش‌های مالی است؛ در این راستا، مطالعات مختلفی انجام شده است که این نوع ریسک‌ها را تفکیک و تحلیل کرده‌اند. (Talebi et al., 2011) در مطالعه‌ای توصیفی-تحلیلی، ریسک‌های عملیاتی در بانکداری اسلامی را به دو گروه عمده شامل ریسک‌های مشترک با نظام بانکی متعارف و ریسک‌های ویژۀ بانکداری اسلامی دسته‌بندی کردند. یافته‌های آنها بر اهمیت تفکیک این دو نوع ریسک در مدیریت ریسک عملیاتی تأکید دارد. (Khoshsima & Shehikitash, 2013) نیز با بررسی رابطۀ میان کارایی بانک‌ها و ریسک‌های اعتباری، عملیاتی و نقدینگی از روش‌های پارامتریک و ناپارامتریک استفاده کردند. نتایج نشان داد که ریسک‌های مذکور اثر معناداری بر کارایی بانک‌های ایران دارند و نیازمند تحلیل دقیق‌تر و مدیریت جامع‌تری هستند. (Nosrati & Pakizeh, 2014) با بهره‌گیری از رویکرد اندازه‌گیری پیشرفته، سرمایۀ لازم را برای ریسک عملیاتی برآورد کردند. این پژوهش بر مبنای روش توزیع زیان از مدل‌های کلاسیک و توزیع‌های دنبالۀ پهن مانند توزیع آلفای پایدار استفاده کرد. آنها موفق شدند چارچوبی کاربردی برای محاسبۀ ذخایر سرمایه در بانک‌های ایرانی ارائه دهند. (Ostadi et al., 2018) در مطالعه‌ای، ارزیابی ریسک عملیاتی را با استفاده از روش‌های مبتنی‌بر استنتاج بیزی بررسی کردند. تمرکز اصلی پژوهش آنها بر ترکیب داده‌های داخلی و نظرات کارشناسی برای تخمین پارامترهای توزیع زیان بود. نتایج نشان داد که با افزایش دوره‌های پیش‌بینی، مقادیر پارامترهای زیان کاهش یافته و نشان‌دهندۀ کاهش ریسک با گذشت زمان است. (Mostafaei et al., 2019) با استفاده از تکنیک نگاشت شناختی فازی، ریسک‌های عملیاتی را شناسایی و تحلیل کردند. آنها با ارائۀ یک چارچوب نگاشت مبتنی‌بر فرایند، راهکاری برای شناسایی و مدیریت ساختاریافته ریسک‌های عملیاتی پیشنهاد کردند. این مطالعه به‌طور خاص بر قابلیت نگاشت شناختی در درک و تحلیل ریسک‌های عملیاتی تأکید دارد.

اندازه‌گیری، نظارت و مدیریت این ریسک در مقایسه با سایر ریسک‌های بانکی مانند ریسک‌های اعتباری و بازار بسیار دشوار است. این ریسک به‌خصوص برای سازمان‌های بانکی مهم است و در سال‌های اخیر به آن توجه شده است؛ زیرا زیان‌های عملیاتی بزرگ می‌تواند منجر به انحلال مؤسسات مالی شود (Abdymomunov et al., 2020; Afonso et al., 2019). کریسانتو و پرنیو (Crisanto & Prenio, 2017) منابعی را شناسایی کرده‌اند که تهدیدات سایبری و کلاهبرداری سایبری می‌تواند بر فرایند تخمین سرمایۀ ریسک عملیاتی تأثیر بگذارد. این جرائم که با معرفی خدمات بانکداری الکترونیک بیشتر شده‌ است، شامل دسترسی غیرقانونی، اختلال سیستم و سوءاستفاده یا دزدی از دستگاه‌ها برای دستیابی به مزیت مالی است (Bank for International Settlements, 2016; Drew & Farrell, 2018). برای تعیین کمیت زیان‌های احتمالی در معاملات بانکداری الکترونیکی، مدل شبکۀ بیزی[6] (BN) برای تخمین سرمایۀ پوششی ریسک عملیاتی در شرکت‌های مالی طراحی شده است (Bouveret, 2018). یادگیری ماشین یکی از امیدوارکننده‌ترین و چالش‌برانگیزترین رویکردهای کلیدی در امور مالی مدرن است (Tsai & Wu, 2008). این روش‌ها نحوۀ کار صنعت مالی را تغییر داده‌ است و یادگیری عمیق[7] (DL) به دلیل تطبیق‌پذیری و قابلیت‌های پیش‌بینی، بیشترین پژوهش و کاربرد را دارد (Ivanov et al., 2019). پنا و همکاران (Pena et al., 2021) با استفاده از مدل یادگیری عمیق کانولوشنال فازی، به دنبال محاسبۀ حداکثر ارزش در معرض خطر ریسک عملیاتی با سطح اطمینان 9/99درصد بوده‌اند. (Zhou et al., 2021) با استفاده از الگوریتم‌های یادگیری ماشین نیمه‌نظارت‌شده، سعی در طبقه‌بندی ریسک‌های عملیاتی باتوجه‌به اخبار مالی داشته‌اند. مدل ارائه‌شده قادر به پیش‌بینی انواع ریسک‌های صنعت بانکداری است. اکبری و یزدانیان (Akbari & Yazdanian, 2023) از الگوریتم‌های یادگیری ماشین برای تخمین آستانۀ مناسب برای داده‌های شدت زیان عملیاتی و طبقه‌بندی این داده‌ها استفاده کرده و سرمایۀ لازم برای پوشش ریسک عملیاتی با تجمیع تابع توزیع شدت و فراوانی داده‌ها و شبیه‌سازی مونت‌کارلو را تخمین زده‌اند.

با بررسی پژوهش‌های گذشته، مدیریت ریسک عملیاتی یکی از چالش‌های صنعت بانکداری است. برای مدیریت بهتر این ریسک نیاز به بهبود فرایندهای مدیریت ریسک عملیاتی وجود دارد. پژوهش‌های گذشته بیشتر بر تخمین سرمایۀ لازم برای پوشش ریسک عملیاتی تمرکز داشته‌اند؛ اما پژوهشی مبنی بر پیش‌بینی احتمال وقوع ریسک عملیاتی انجام نشده است. پیش‌بینی احتمال وقوع ریسک عملیاتی نیز می‌تواند فرایند مدیریت ریسک را بهبود بخشد. در این پژوهش، با استفاده از الگوریتم‌های یادگیری ماشین مدیریت ریسک عملیاتی بهبود داده شده است.

 

روش پژوهش

در این پژوهش، داده‌ها از بانک پارسیان و ازطریق سامانۀ مدیریت ریسک سمر جمع‌آوری شده‌اند. مجموعه دادۀ مربوط به سال‌های 1395 تا 1402 است و شامل 4213 رکورد و 10 ویژگی است. این داده‌ها براساس چارچوب کمیتۀ بال در نظارت بانکی[8] (BCBS) جمع‌آوری شده است (Pereira et al., 2018; Bank for International Settlements, 2004). نمرۀ احتمال وقوع ریسک  براساس چارچوب سند کوزو (COSO, 2017) داده شده است. ابتدا پیش‌پردازش بر روی مجموعه دادۀ اصلی انجام شد و مجموعه داده تمیز شد. در جدول 1 اطلاعات مربوط به مجموعه داده بیان شده است.

جدول (1) مجموعه داده

Table (1) Dataset

ردیف

ویژگی

نوع ویژگی

توضیحات

1

خط کسب‌وکار

کیفی

نوع خط کسب‌وکار بانک مطالعه‌شده

2

عنوان اصلی

کیفی

عنوان اصلی ریسک در هر خط کسب‌وکار

3

عنوان فرعی

کیفی

عنوان فرعی ریسک در هر خط کسب‌وکار

4

فرایند اصلی

کیفی

فرایندهای اصلی که در بانک مطالعه‌شده انجام می‌شود.

5

فرایند فرعی

کیفی

فرایندهای فرعی که در بانک مطالعه‌شده انجام می‌شود.

6

عامل وقوع رویداد

کیفی

عواملی که باعث وقوع ریسک شده است.

7

نوع رویداد

کیفی

رویدادهای که رخ داده است.

8

مالک ریسک

کیفی

مالک ریسک که در واحد مربوط رخ داده است.

9

محل وقوع ریسک

کیفی

محلی که ریسک در آن رخ داده است.

10

احتمال وقوع ریسک

کمی

نمره احتمال وقوع ریسک

 

طبق استاندارد کوزو 2017 احتمال وقوع ریسک عملیاتی نمره‌دهی شده است. در جدول 2 نمره احتمال وقوع ریسک مشخص شده است.

 

جدول (2) احتمال وقوع ریسک

Table (2) Risk occurrence likelihood

احتمال

نمره

نادر

1

بعید

2

ممکن

3

محتمل

4

تقریباً قطعی

5

 

از 6 الگوریتم پرکاربرد یادگیری ماشین استفاده شده است. 1) k-نزدیکترین همسایه[9] (KNN) یک الگوریتم یادگیری ماشین است که به‌طور گسترده برای مسائل طبقه‌بندی و رگرسیون استفاده می‌شود. فرض نزدیکی نقاط مشابه اساس KNN است. ازاین‌رو، ابتدا مقدار k تعریف می‌شود که تعداد همسایگان به دنبال اندازه‌گیری فاصلۀ اقلیدسی در بین آنها است (Poongodi et al., 2023)؛ 2) بیز ساده [10](NB) یک الگوریتم طبقه‌بندی ساده، اما مؤثر و متداول یادگیری ماشین است که در دستۀ یادگیری با ناظر [11]جای می‌گیرد. بیز ساده الگوریتمی احتمالی است که براساس نظریۀ بیز برای طبقه‌بندی استفاده می‌شود. مفهوم اصلی حداقل مربعات زیربنای یک طبقه‌بندی باینری، یعنی دو طبقه و چند طبقه است. این تکنیک برای طبقه‌بندی باینری استفاده می‌شود (Liu et al., 2017)؛ 3) جنگل تصادفی[12] (RF) مدل طبقه‌بندی و رگرسیون مبتنی‌بر مجموعه است. از جنگل تصادفی می‌توان برای انتخاب ویژگی نیز استفاده کرد. یک الگوریتم یادگیری ماشین است که براساس درخت تصمیم است. از روش دسته‌بندی برای ایجاد زیرمجموعه‌های متعدد داده با انتخاب تصادفی مشاهدات از مجموعه داده‌های اصلی با جایگزینی استفاده می‌شود و با استفاده از این زیرمجموعه‌ها درخت‌های کوچک‌تری می‌سازد. سپس، تمام این درختان را به‌صورت موازی اجرا می‌کند و پیش‌بینی نهایی با میانگین‌گیری پیش‌بینی از همۀ درختان تصمیم محاسبه می‌شود. برای بهبود دقت پیش‌بینی در جنگل تصادفی، سه پارامتر حیاتی هستند: تعداد درختان، حداکثر تعداد ویژگی‌هایی که برای تقسیم یک گره در نظر گرفته می‌شوند و حداقل تعداد برگ‌های لازم برای تقسیم یک گرۀ داخلی است (Simaiya et al., 2021b)؛ 4) رگرسیون لجستیک[13] (LR) روش دیگری است که یادگیری ماشینی از حوزۀ آمار به دست آورده است. عمدتاً برای مسائل طبقه‌بندی براساس ویژگی‌های دو کلاسه ترجیح داده می‌شود. این یک تکنیک آماری است که داده‌های دریافتی حاصل از یافته‌های قبلی از مجموعه داده‌های داده‌شده را پیش‌بینی می‌کند. روش رگرسیون لجستیک با مطالعۀ ارتباط بین یک یا چند عامل پیش‌بینی از پیش موجود، پارامترهای داده‌های متعدد را پیش‌بینی می‌کند (Simaiya et al., 2021a)؛ 5) درخت تصمیم[14] (DT) مدل یادگیری ماشین است که برای طبقه‌بندی داده‌ها استفاده می‌شود. این روش با استفاده از یک سری قوانین مدلی غیرخطی بر روی داده‌های آموزشی ایجاد می‌کند. درخت تصمیم یکی از رایج‌ترین انواع مدل‌ها است. این فقط یک ساختار فلوچارت‌مانند با شبکه‌ای است که آزمایشی را روی یک تابع نشان می‌دهد. طبقه‌بندی درخت تصمیم، همان‌طور که قبلاً گفته شد، طبقه‌بندی‌ها را به زیرمجموعه‌ها تقسیم می‌کند و یکی از پرکاربردترین مدل‌های یادگیری ماشین است (Jabbar et al., 2016)؛ 6) ماشین بردار پشتیبان[15] (SVM) مبتنی‌بر طبقه‌بندی نظارت‌شده است که می‌تواند برای یافتن راه‌حل‌هایی برای وظایف مختلف رگرسیون و طبقه‌بندی استفاده ‌شود و بیشتر برای غلبه بر وظایف رگرسیون و طبقه‌بندی استفاده می‌شود. این روش به‌عنوان یک مرحلۀ گذار در یک همسایگی nبعدی تحلیل می‌شود و n نشان‌دهندۀ تعداد ویژگی‌ها است (Garg et al., 2021).

در رویکردهای یادگیری ماشین نیاز است تا ارتباط بین متغیرهای مسئله مشخص شود و سعی شده است با استفاده از ماتریس همبستگی [16]این ارتباط مشخص شود. در ماتریس همبستگی متغیرها همان ویژگی‌های[17] مجموعه داده هستند. این ماتریس 10 سطر و 10 ستون دارد و متقارن است. روش‌های مختلفی برای اندازه‌گیری ضریب همبستگی[18] وجود دارد. روش اول که یک روش پارامتری است، ضریب همبستگی پیرسون[19] و روش دوم نیز که روشی ناپارامتری است، ضریب همبستگی اسپیرمن [20]نامیده می‌شوند. در شکل 1 ماتریس همبستگی اسپیرمن رسم شده است. باتوجه‌به نتایج ضریب همبستگی با روش اسپیرمن مشخص شدکه هیچ همبستگی مثبت و منفی معناداری بین متغیرها وجود ندارد. در تحلیل همبستگی، واحدهای اندازه‌گیری مربوط به ریسک‌های ثبت‌شده در بانک پارسیان طی این سال‌ها هستند؛ بنابراین، همبستگی بین متغیرها در سطح رکوردهای ثبت‌شده از ریسک‌ها انجام شده است. ازآنجاکه داده‌ها مربوط به چندین سال هستند، همبستگی بین رخدادهای مختلف ریسک در بازه‌های زمانی 1395 تا 1402 بررسی شده است.

 

 

شکل (1) ماتریس همبستگی اسپیرمن

Figure (1) Spearman's correlation matrix

 

پس از ساخت مدل لازم است تا صحت مدل سنجیده شود. فرض کنید مدلی برای پیش‌بینی احتمال وقوع ریسک عملیاتی ساخته شده است. یکی از سؤالات مهمی که در این مرحله مطرح می‌شود، چگونگی ارزیابی عملکرد مدل به‌دست‌آمده است. در این مرحله مطمئناً نیاز به برآوردی از صحت پیش‌بینی مدل است؛ بدین معنی که مدل چقدر می‌تواند احتمال وقوع ریسک براساس رویدادهایی که مدل برای آنها، ساخته نشده است درست پیش‌بینی کند. ممکن است مدل‌های مختلفی ساخته شود؛ بنابراین، یکی از سؤالاتی که مطرح می‌شود این است که کدام‌یک از مدل‌ها عملکرد بهتری در پیش‌بینی احتمال وقوع ریسک خواهد داشت. معمولاً بر روی مجموعه دادۀ آموزشی مدل ساخته می‌شود و با استفاده از داده‌های آزمون مدل ارزیابی می‌شود. معیارهای ارزیابی به این سؤال پاسخ می‌دهند که مدل تا چه حدی قادر است پیش‌بینی صحیحی انجام دهد. معیارهای ارزیابی مدل شامل دقت[21]، صحت[22]، بازخوانی[23]، F1-score و AUC است که دقت و صحت مهم‌ترین این معیارها محسوب می‌شوند. اطلاعات لازم برای محاسبۀ معیارهای مذکور در یک ماتریس با عنوان ماتریس درهم‌ریختگی[24] در جدول 3 نشان داده شده است.

 

 

جدول(3) ماتریس درهم‌ریختگی

Table (3) Confusion matrix

برچسب پیش‌بینی

 

مثبت (1)

منفی (0)

 

  برچسب واقعی

FN

TN

منفی (0)

TP

FP

مثبت (1)

 

در اینجا: 1) مثبت درست[25] (TP): تعداد نمونه‌های مثبتی است که به‌طور درست توسط مدل برچسب‌گذاری شده‌ است؛ 2) منفی درست[26] (TN): تعداد نمونه‌های منفی است که توسط مدل درست برچسب‌گذاری شده است؛ 3) مثبت غلط[27] (FP): تعداد نمونه‌های منفی است که توسط مدل به اشتباه به‌عنوان مثبت برچسب‌گذاری شده است؛ 4) منفی غلط[28] (FN): تعداد نمونه‌های مثبتی است که توسط مدل به اشتباه برچسب منفی گرفته است.

عملکرد مدل‌ها با معیارهای مختلفی اندازه‌گیری شده است. معیار دقت[29] به نمونه‌هایی اشاره دارد که به‌درستی از همۀ نمونه‌ها شناسایی ‌شده است (Guo et al., 2020). نحوۀ محاسبۀ این معیار در رابطۀ 1 آمده است:

(1)

 

 

صحت و یادآوری توانایی مدل را برای تشخیص دقیق وقوع یک نمونه کلاس مثبت اندازه‌گیری می‌کند (Cantarella et al., 2023; Afroz et al., 2012). نحوۀ محاسبۀ این دو معیار در رابطۀ 2 و 3 آمده است:

(2)

 

(3)

 

 

F1-Score میانگین هارمونیک یادآوری و صحت یک مدل پیش‌بینی را تعیین می‌کند. F1-Score برای مسائل طبقه‌بندی‌ای خوب است که برچسب‌های هدف نامتعادل هستند (Goutte & Gaussier, 2005). نحوۀ محاسبۀ این معیار در رابطۀ 4 آمده است:

(4)

 

 

حساسیت[30] با عنوان نرخ مثبت درست نامیده می‌شود. این معیار بیانگر نمونه‌های مثبتی است که درست پیش‌بینی شده است. نحوۀ محاسبۀ این معیار در رابطۀ 5 آمده است:

(5)

 

 

خصوصیت[31] نیز نشان‌دهندۀ نمونه‌های منفی است که درست پیش‌بینی شده است. این معیار نرخ منفی درست نامیده می‌شود. نحوۀ محاسبۀ این معیار در رابطۀ 6 آمده است:

(6)

 

 

در شکل 2 فلوچارت مراحل این پژوهش رسم شده است که ابتدا پیش‌پردازش داده‌ها صورت می‌گیرد که شامل کمّی‌سازی داده‌ها، حذف داده‌های تکراری، پرت و خالی است و در ادامه نرمال‌سازی داده‌ها و بالانس‌کردن کلاس‌ها انجام شده است. در مرحلۀ بعد مجموعه‌های آموزش و آزمون از هم تفکیک شده است و با استفاده از الگوریتم‌های یادگیری ماشین پیش‌بینی احتمال وقوع ریسک صورت می‌گیرد. از معیارهای ارزیابی الگوریتم‌های طبقه‌بندی‌کننده برای ارزیابی مدل استفاده می‌شود و بهترین الگوریتم‌ها انتخاب می‌شوند.

 

 

شکل (2) مدل پیشنهادی

Figure (2) Proposed model

 

یافته‌ها

برای پیش‌بینی احتمال وقوع ریسک عملیاتی، از داده‌های ریسک عملیاتی و الگوریتم‌های یادگیری ماشین استفاده شده است. متغیرهای ورودی‌های مدل در این پژوهش شامل خط کسب‌وکار، عنوان اصلی ریسک، عنوان فرعی ریسک، فرایند اصلی ریسک، فرایند فرعی ریسک، عامل وقوع رویداد، نوع رویداد، مالک ریسک و محل وقوع ریسک هستند. این ویژگی‌ها به‌عنوان ورودی‌ها برای پیش‌بینی احتمال وقوع ریسک به مدل یادگیری ماشین داده می‌شوند. هدف پیش‌بینی احتمال وقوع ریسک عملیاتی به‌عنوان خروجی مدل است که دارای 5 حالت مختلف است. به‌منظور ساده‌سازی مسئله و بهبود عملکرد مدل، کلاس‌های خروجی به دو کلاس تبدیل شده است. روش کار به شرح جدول 4 است:

جدول (4) خروجی‌های مدل

Table (4) Model outputs

حالت

کلاس 1

کلاس 0

حالت 1

نمرۀ 1 (نادر)

 نمره 2،3،4،5

حالت 2

نمرۀ 2 (بعید)

 نمره 1،3،4،5

حالت 3

نمرۀ 3 (ممکن)

نمره 1،2،4،5

حالت 4

نمرۀ 4 (محتمل)

 نمره 1،2،3،5

حالت 5

نمرۀ 5 (تقریباً قطعی)

 نمره 1،2،3،4

 

در این پژوهش، احتمال وقوع ریسک در 5 سطح قرار دارد که طبق جدول 2 دارای 5 نمره است؛ بااین‌حال، استفاده از یک مدل یادگیری ماشین برای پیش‌بینی این 5 سطح به‌صورت هم‌زمان چالش‌هایی به همراه دارد؛ ازجمله کاهش دقت مدل در تشخیص کلاس‌های مختلف. برای حل این مشکل، روش تبدیل مسئله به چندین طبقه‌بندی دوکلاسه اتخاذ شده است. در این روش، 5 حالت مختلف تعریف شده است که در هر حالت یکی از 5 سطح احتمال وقوع ریسک به‌عنوان کلاس 1 و سایر سطوح به‌عنوان کلاس 0 در نظر گرفته شده‌اند. مدل برای هریک از این 5 حالت آموزش داده می‌شود؛ برای مثال:

حالت 1: کلاس 1 شامل نمرۀ 1 (نادر) و کلاس 0 شامل نمرات 2، 3، 4، 5 (بعید، ممکن، محتمل، تقریباً قطعی) است. اگر مدل به‌درستی پیش‌بینی کند، به این معناست که احتمال وقوع ریسک نادر (1) است؛ درغیراین‌صورت، ریسک در یکی از سطوح دیگر (2، 3، 4، 5) قرار دارد.

حالت 2: کلاس 1 شامل نمرۀ 2 (بعید) و کلاس 0 شامل نمرات 1، 3، 4، 5 است. در این حالت اگر مدل پیش‌بینی درستی داشته باشد، احتمال وقوع ریسک بعید (2) است، درغیراین‌صورت، در یکی از سطوح دیگر (1، 3، 4، 5) قرار دارد. این روش به مدل اجازه می‌دهد تا برای هر سطح ریسک به‌طور جداگانه آموزش ببیند و دقت کلی پیش‌بینی افزایش یابد.

به این دلایل، کاهش کلاس‌ها صورت گرفته است: 1) ساده‌سازی مسئله: با تبدیل مسئله به چندین مسئلۀ دوکلاسه[32] به‌جای یک مسئلۀ پنج‌کلاسه پیچیدگی محاسباتی کاهش می‌یابد و مدل‌ها ساده‌تر می‌شوند. این کار به مدل اجازه می‌دهد تا بهتر روی داده‌ها آموزش ببیند و نتایج فهم‌پذیر‌تری تولید کند؛ 2) افزایش دقت مدل‌ها: مدل‌های دوکلاسه معمولاً دقت بیشتری در مقایسه با مدل‌های چندکلاسه دارند. با تبدیل مسئله به مجموعه‌ای از مدل‌های دوکلاسه می‌توان به هر کلاس توجه بیشتری کرد و دقت پیش‌بینی‌ها را افزایش داد؛ 3) قابلیت تعمیم‌دهی بهتر: مدل‌های دوکلاسه معمولاً توانایی تعمیم‌دهی بهتری از مدل‌های چندکلاسه دارند. این امر به‌ویژه زمانی بسیار مهم است که داده‌ها نامتوازن هستند.

با این رویکرد، مدل می‌تواند هر کلاس را به‌صورت جداگانه و دقیق‌تر پیش‌بینی کند؛ علاوه‌براین، با ترکیب نتایج مدل‌های دوکلاسه می‌توان به سیستم پیش‌بینی جامع‌تر و دقیق‌تری دست یافت. در جدول 5 معیارهای ارزیابی مدل ازجمله دقت، صحت، بازیابی، F1-score و AUC آورده شده است. از مهم‌ترین معیارهای ارزیابی مدل می‌توان به دقت و صحت اشاره کرد. در حالت 1 الگوریتم‌ RF با مقدار دقت و صحت 9690/0 و 9426/0 به‌عنوان بهترین الگوریتم شناسایی شده است و الگوریتم SVM با اختلاف کمی در مقایسه با RF با مقدار دقت و صحت 9587/0 و 9403/0 به‌عنوان الگوریتم دوم شناسایی شده است. در حالت دوم و سوم و پنجم به ترتیب الگوریتم‌های SVM و RF نتایج قابل‌قبولی داشته‌اند و در حالت 4 الگوریتم‌های RF و SVM به ترتیب توانسته‌اند با دقت و صحت بالایی پیش‌بینی را انجام دهند. همان‌طور که مشاهده شد، الگوریتم‌های RF و SVM الگوریتم‌هایی هستند که برای این مورد مطالعه نتایج قابل‌قبولی دارند؛ بنابراین، می‌توان نتیجه‌گرفت که می‌توان از این الگوریتم‌ها برای پیش‌بینی احتمال وقوع ریسک عملیاتی در صنعت بانکداری استفاده کرد.

جدول (5) نتایج معیارهای ارزیابی مدل

Table (5) Results of model evaluation criteria

حالت 1

الگوریتم

دقت

صحت

بازخوانی

F1-score

AUC

SVM

9587/0

9403/0

9793/0

9594/0

9925/0

RF

9690/0

9426/0

9986/0

9698/0

9986/0

DT

7920/0

7931/0

7887/0

7909/0

8756/0

LR

5682/0

5673/0

5649/0

5661/0

6144/0

NB

6081/0

6228/0

5428/0

5801/0

6390/0

KNN

8499/0

7868/0

9586/0

8643/0

9256/0

حالت 2

SVM

8856/0

8856/0

8810/0

8833/0

9288/0

RF

8788/0

8356/0

9379/0

8838/0

9573/0

DT

6636/0

6309/0

7603/0

6869/0

7398/0

LR

5381/0

5299/0

5345/0

5322/0

5848/0

NB

5763/0

6005/0

4121/0

4888/0

6100/0

KNN

7136/0

6839/0

7759/0

7270/0

8002/0

حالت 3

SVM

8807/0

8966/0

8525/0

8739/0

9283/0

RF

8746/0

8420/0

9126/0

8759/0

9448/0

DT

6749/0

6306/0

7960/0

7037/0

7431/0

LR

5380/0

5197/0

6248/0

5674/0

5623/0

NB

5592/0

5342/0

7104/0

6099/0

5879/0

KNN

7138/0

6750/0

7905/0

7282/0

7986/0

حالت 4

SVM

9364/0

9216/0

9492/0

9352/0

9761/0

RF

9487/0

9199/0

9790/0

9485/0

9853/0

DT

6973/0

7163/0

6188/0

6640/0

7947/0

LR

5708/0

5461/0

6637/0

5992/0

6027/0

NB

5665/0

5342/0

8057/0

6424/0

6270/0

KNN

8179/0

7491/0

9372/0

8327/0

9037/0

حالت 5

SVM

9762/0

9644/0

9887/0

9764/0

9934/0

RF

9504/0

9124/0

9962/0

9524/0

9940/0

DT

8219/0

8038/0

8503/0

8264/0

9110/0

LR

5831/0

5678/0

6843/0

6207/0

6293/0

NB

5317/0

5227/0

6956/0

5969/0

6061/0

KNN

9373/0

8908/0

9962/0

9406/0

9609/0

 

برای ارزیابی دقت پیش‌بینی الگوریتم‌های استفاده‌شده از ناحیۀ زیرمنحنی ROC(AUC) استفاده شده است. منحنی ROC به‌صورت بصری عملکرد مدل طبقه‌بندی را درآستانه‌های مختلف نشان می‌دهد که تقابل بین نرخ مثبت واقعی و نرخ مثبت کاذب را نشان می‌دهد و توانایی یک طبقه‌بندی‌کننده را برای تمایز بین کلاس‌ها نشان می‌دهد. مقدار AUC بالاتر عملکرد خوب مدل را نشان می‌دهد که می‌تواند کلاس را به‌طور مؤثر از هم جدا کند. شکل 3 منحنی‌های ROC را برای الگوریتم‌های استفاده‌شده در 5 حالت بیان‌شده رسم شده است. همان‌طور که مشاهده می‌شود، الگوریتم‌های RF و SVM نتایج قابل‌قبولی دارند.

 

 

ROC of State 2

 

ROC of State 1

 

 

ROC of State 4

 

ROC of State 3

 

ROC of State 5

شکل (3) نمودار ROC برای 5 حالت

Figure (3) ROC diagram for 5th state

 

ماتریس درهم‌ریختگی برای مدل مد نظر در 5 حالت بیان‌شده، رسم شد. عناصر پررنگ، کلاس‌هایی هستند که به‌درستی پیش‌بینی شده‌اند. شکل‌های 4 تا 8 ماتریس درهم‌ریختگی برای 5 حالت بیان‌شده را نشان می‌دهند.

 

شکل (4) ماتریس درهم‌ریختگی برای حالت 1

Figure (4) Confusion matrix for 1st state

 

 

شکل (5) ماتریس درهم‌ریختگی برای حالت 2

Figure (5) Confusion matrix for 2nd state

 

شکل (6): ماتریس درهم‌ریختگی برای حالت 3

Figure (6) Confusion matrix for 3nd state

 

 

شکل (7) ماتریس درهم‌ریختگی برای حالت 4

Figure (7) Confusion matrix for 4nd state

 

شکل (8) ماتریس درهم‌ریختگی برای حالت 5

Figure (8) Confusion matrix for 5nd state

 

نتایج و پیشنهادها

در این پژوهش تلاش شد تا با استفاده از الگوریتم‌های یادگیری ماشین، وقوع ریسک‌های عملیاتی در صنعت بانکداری بررسی و پیش‌بینی شود. نتایج نشان می‌دهند که الگوریتم‌های مختلف، به‌ویژه جنگل تصادفی و ماشین بردار پشتیبان عملکرد قابل‌قبولی در پیش‌بینی وقوع ریسک‌های عملیاتی دارند. این نتایج می‌تواند تحولی در شیوۀ مدیریت ریسک‌های عملیاتی در بانک‌ها ایجاد کند و باعث کاهش چشمگیری در هزینه‌ها و خسارات ناشی از این ریسک‌ها شود. یکی از مهم‌ترین یافته‌ها این است که استفاده از داده‌های بزرگ و متنوع می‌تواند به‌طور چشمگیری دقت پیش‌بینی‌ها را افزایش دهد. مدل‌های یادگیری ماشین قادرند با تحلیل داده‌های حجیم و پیچیده، الگوهای پنهان را کشف کنند و به‌این‌ترتیب به شناسایی ریسک‌های بالقوه کمک کنند. این امر می‌تواند به بانک‌ها این امکان را بدهد که پیش از وقوع ریسک‌ها اقدامات پیشگیرانه‌ای را اتخاذ کنند و بدین ترتیب از وقوع خسارات مالی و اعتباری جلوگیری کنند. استفاده از مدل‌های یادگیری ماشین در مدیریت ریسک عملیاتی، می‌تواند به بهبود فرایند تصمیم‌گیری‌های مدیریتی کمک کند. این مدل‌ها با ارائۀ تحلیل‌های دقیق و پیش‌بینی‌های مبتنی‌بر داده، به مدیران بانک‌ها این امکان را می‌دهند که تصمیم‌های بهتری بگیرند و راهکارهای مؤثرتری برای مدیریت ریسک‌ها اجرا کنند؛ به علاوه، این روش‌ها می‌توانند زمان و هزینه‌های مرتبط با مدیریت ریسک را به‌طور چشمگیری کاهش دهند و به بانک‌ها این امکان را بدهند که منابع خود را به شکلی بهینه‌تر مدیریت کنند. برای بهبود دقت پیش‌بینی‌ها می‌توان داده‌های بیشتری را جمع‌آوری و متغیرهای جدیدی را به مدل‌ها اضافه کرد که شامل داده‌های تاریخی، داده‌های اقتصادی و اطلاعات مرتبط با فرایندهای داخلی بانک‌ها می‌شود. با پیشرفت تکنولوژی و ظهور الگوریتم‌های جدید می‌توان از تکنیک‌های پیشرفته‌تری مانند یادگیری تقویتی مانند الگوریتم‌های DQN، Q-Learning، DDPG وMeta-Learning  استفاده کرد. این تکنیک‌ها می‌توانند دقت و کارایی مدل‌ها را بهبود بخشند.

 

[1] Business line

[2] Internal Data

[3] External Data

[4] Scenario-based analysis data

[5] Business Environment and Internal Control Factors

[6] Bayesian Network

[7] Deep Learning

[8] Basel Committee on Banking Supervision

[9] K-Nearest Neighbor

[10] Naive Bayes

[11] Supervised Learning

[12] Random Forest

[13] Logistic Regression

[14] Decision Tree

[15] Support Vector Machine

[16] Correlation Matrix

[17] Features

[18] Correlation Coefficient

[19] Pearson Correlation Coefficient

[20] Spearman Correlation Coefficient

[21] Accuracy

[22] Precision

[23] Recall

[24] Confusion Matrix

[25] True Positive

[26] True Negative

[27] False Positive

[28] False Negative

[29] Accuracy

[30] Sensitivity

[31] Specificity

[32] Binary Classification

Afonso, G., Curti, F., & Mihov, A. (2019). Coming to terms with operational risk (No. 20190107). Federal Reserve Bank of New York.‏
Abdymomunov, A., Curti, F., & Mihov, A. (2020). US banking sector operational losses and the macroeconomic environment. Journal of Money, Credit and Banking, 52(1), 115-144.‏ https://doi.org/10.1111/jmcb.12661.
Afroz, S., Brennan, M., & Greenstadt, R. (2012). Detecting hoaxes, frauds, and deception in writing style online. In 2012 IEEE symposium on security and privacy. San Francisco, CA, USA. https://doi.org/10.1109/SP.2012.34
Akbari, M., & Yazdanian, A. (2023). Machine learning in estimating operational risk coverage capital of banks with a loss distribution Approach. Financial Management Perspective, 13(42), 9-34. https://doi.org/10.48308/jfmp.2023.103948
Bank for International Settlements. )2004). Basel II: International Convergence of Capital Measurement and Capital Standards: A Revised Framework. Basel Committee on Banking Supervision, CH-4002 Basel, Switzerland.
Bank for International Settlements. )2016(. Standardised Measurement Approach for Operational Risk. Consultative Document.
Barakat, A., & Hussainey, K. (2013). Bank governance, regulation, supervision, and risk reporting: Evidence from operational risk disclosures in European banks. International Review of Financial Analysis, 30, 254-273.‏ https://doi.org/10.1016/j.irfa.2013.07.002
Basel Committee on Banking Supervision. (2006). International convergence of capital measurement and capital standards: A Revised Framework - Comprehensive Version. Bank of International Settl.
Bouveret, A. (2018). Cyber Risk for the Financial Sector: A Framework for Quantitative Assessment. International Monetary Fund.
Committee of Sponsoring Organizations of the Treadway Commission (COSO). (2017). Enterprise Risk Management: Integrating with Strategy and Performance. COSO.
Crisanto, J. C., & Prenio, J. (2017). Regulatory Approaches to Enhance Banks’ Cyber-Security Frameworks. Bank for International Settlements. Financial Stability Institute. Retrieved from.
Crouchy, M., Galai, D., & Mark, R. (1998). Key steps in building consistent operational risk measurement and management. Operational Risk and Financial Institutions, 17(3), 45-62.‏
Cantarella, M., Fraccaroli, N., & Volpe, R. (2023). Does fake news affect voting behaviour? Research Policy, 52(1), 104628.‏ https://doi.org/10.1016/j.respol.2022.104628
Drew, J. M., & Farrell, L. (2018). Online victimization risk and self-protective strategies: Developing police-led cyber fraud prevention programs. Police Practice and Research, 19(6), 537-549.‏ https://doi.org/10.1080/15614263.2018.1507890
Elarif, F. Z., & Hinti, S. (2014). Methods of quantifying operational risk in Banks: Theoretical approaches. American Journal of Engineering Research, 3(03), 283-244.
Garg, A., Lilhore, U. K., Ghosh, P., Prasad, D., & Simaiya, S. (2021, August). Machine learning-based model for prediction of student’s performance in higher education. In 8th International Conference on Signal Processing and Integrated Networks (SPIN) (pp. 162-168). Noida, India.‏ https://doi.org/10.1109/SPIN52536.2021.9565999
Guo, B., Ding, Y., Yao, L., Liang, Y., & Yu, Z. (2020). The future of false information detection on social media: New perspectives and trends. ACM Computing Surveys (CSUR), 53(4), 1-36.‏ https://doi.org/10.1145/3393880
González-Carrasco, I., Jiménez-Márquez, J. L., López-Cuadrado, J. L., & Ruiz-Mezcua, B. (2019). Automatic detection of relationships between banking operations using machine learning. Information Sciences, 485, 319-346.‏ https://doi.org/10.1016/j.ins.2019.02.030
Goutte, C., & Gaussier, E. (2005, March). A probabilistic interpretation of precision, recall and F-score, with implication for evaluation. In D.E. Losada, & J.M. Fernández-Luna (Eds.), Advances in Information Retrieval. ECIR 2005 (pp. 345-359). Lecture Notes in Computer Science, vol 3408. Springer, Berlin, Heidelberg. .‏ https://doi.org/10.1007/978-3-540-31865-1_25
Hoffman, D. G. (2002). Managing Operational Risk: 20 Firmwide Best Practice Strategies. John Wiley & Sons. ‏Inc. ‏
Ivanov, D., Dolgui, A., & Sokolov, B. (2019). The impact of digital technology and Industry 4.0 on the ripple effect and supply chain risk analytics. International Journal of Production Research, 57(3), 829-846.‏ https://doi.org/10.1080/00207543.2018.1488086
Jabbar, M. A., Deekshatulu, B. L., & Chandra, P. (2016). Intelligent heart disease prediction system using random forest and evolutionary approach. Journal of Network and Innovative Computing, 4, 10.
Khoshsima, R., & Shahikitash, M. N. (2013). The impact of credit, operational and liquidity risks on the efficiency of Iran's banking system. Planning and Budgeting, 17(4), 69-95. [In Persian].
Liu, X., Wang, X., Su, Q., Zhang, M., Zhu, Y., Wang, Q., & Wang, Q. (2017). A hybrid classification system for heart disease diagnosis based on the RFRS method. Computational and Mathematical Methods in Medicine, (1), 8272091.‏ https://doi.org/10.1155/2017/8272091
Mor- Valencia, A., & Zapata-Jaramillo, W. (2017). Quantifying operational risk using the loss distribution approach (lda) model. In Proceedings of the Seventh European Academic Research Conference on Global Business, Economics, Finance and Banking (EAR17Swiss Conference) (pp. 0-10).‏
Mora-Valencia, A. (2010). Cuantificación del riesgo operativo en entidades financieras en Colombia. Cuadernos de Administración, 23(41), 185-211.‏
Mostafaee, K., Azar, A., & Moghbel, A. (2019). Identification and analysis of operational risks: A fuzzy cognitive map approach. Journal of Asset Management and Financing, 6(4), 1-18. https://doi.org/10.22108/amf.2018.103404.1087 [In Persian].
Naderi, H., & Rastegar, M. A. (2022). Applying the meta-synthesis method in banking operational risk management methodology. Journal of Asset Management and Financing, 10(4), 115-132. https://doi.org/10.22108/amf.2023.135765.1767 [In Persian].
Nosrati, H, & Pakizeh, K. (2014). Estimation of operating capital reserves in the banking industry. Financial Engineering and Portfolio Management, 5(20), 1-26. [In Persian].
Ostadi, B., Khazayi, S., & Husseinzadeh, A. K. (2018). Operational risk Assessment using Bayesian inference with regard to the composition of data sources and the assumption of dependence between experts and internal loss data. Financial Management Strategy, 6(1), 53-72. https://doi.org/10.22051/jfm.2018.17227.1486 [In Persian].
Poongodi, M., Nguyen, T. N., Hamdi, M., & Cengiz, K. (2023). A measurement approach using smart-IoT based architecture for detecting the COVID-19. Neural Processing Letters, 55, 877.‏  https://doi.org/10.1007/s11063-021-10602-x
Pena, A., Patino, A., Chiclana, F., Caraffini, F., Gongora, M., Gonzalez-Ruiz, J. D., & Duque-Grisales, E. (2021). Fuzzy convolutional deep-learning model to estimate the operational risk capital using multi-source risk events. Applied Soft Computing, 107, 107381.‏ https://doi.org/10.1016/j.asoc.2021.107381
Pereira, P., Silva, E. S., & Pereira, A. (2018). Operational risk management: The basel II. The International Journal of Business Management and Technology, 2.‏‏
Peña, A., Bonet, I., Lochmuller, C., Chiclana, F., & Góngora, M. (2018). An integrated inverse adaptive neural fuzzy system with Monte-Carlo sampling method for operational risk management. Expert Systems with Applications, 98, 11-26.‏ https://doi.org/10.1016/j.eswa.2018.01.001
Posavljak, M. (2024). Development of Tools for Infrastructure Asset Management Cross-Asset Trade-off Analysis and Universal Performance Measure for Public Agencies [Doctoral dissertation, University of Waterloo].‏
Rahman, M. M., Akhi, S. S., Hossain, S., Ayub, M. I., Siddique, M. T., Nath, A., Nath, P. C., & Hassan, M. M. (2024). Evaluating machine learning models for optimal customer segmentation in banking: A comparative study. The American Journal of Engineering and Technology, 6(12), 68-83.‏ https://doi.org/10.37547/tajet/Volume06Issue12-08
Simaiya, S., Lilhore, U. K., Prasad, D., & Verma, D. K. (2021a). MRI brain tumour detection & image segmentation by hybrid hierarchical K-means clustering with FCM based machine learning model. Annals of the Romanian Society for Cell Biology, 25(1), 88-94.‏
Simaiya, S., Gautam, V., Lilhore, U. K., Garg, A., Ghosh, P., Trivedi, N. K., & Anand, A. (2021b, October). EEPSA: Energy efficiency priority scheduling algorithm for cloud computing. In 2nd International Conference on Smart Electronics and Communication (ICOSEC) (pp. 1064-1069). IEEE.‏ https://doi.org/10.1109/ICOSEC51865.2021.9591967
Tsai, C. F., & Wu, J. W. (2008). Using neural network ensembles for bankruptcy prediction and credit scoring. Expert Systems with Applications, 34(4), 2639-2649.‏ https://doi.org/10.1016/j.eswa.2007.05.019
Talebi, M., Kavand, M. & Hosseinpour, M. (2011). Analysis and ranking of operational risks in Islamic banking; Case study: Interest-free banking in Iran. Islamic Economics, 11(44), 157-184. [In Persian].
Wang, T., & Hsu, C. (2013). Board composition and operational risk events of financial institutions. Journal of Banking & Finance, 37(6), 2042-2051.‏ https://doi.org/10.1016/j.jbankfin.2013.01.027
Zhou, F., Qi, X., Xiao, C., & Wang, J. (2021). MetaRisk: Semi-supervised few-shot operational risk classification in banking industry. Information Sciences, 552, 1-16.‏ https://doi.org/10.1016/j.ins.2020.11.027