Geneza big data
Potencjał i wiedzę ukrytą w dużych zbiorach danych zauważono już na długo przed powstaniem rozwiązań typu big data. Prawidłowości w zgromadzonym materiale doszukiwano się za pomocą prostych algorytmów czy porządkując informacje w tabelach. Podejście do takich analiz zmieniało się wraz z przechowywaniem coraz większej ilości danych, które wielokrotnie przewyższały możliwości tradycyjnych, dotąd używanych baz, np. typu SQL. Kolejnym wyzwaniem stało się gromadzenie danych w sposób nieuporządkowany, a w rezultacie niesklasyfikowany.
To właśnie rozmiar i format danych dały początek technologii big data. Odnosi się ona do dużych, różnorodnych zbiorów informacji, które rosną w stałym tempie. Koncepcja ta nabrała rozpędu na początku XXI wieku, kiedy analityk branżowy Doug Laney sformułował popularną obecnie definicję dużych zbiorów danych jako trzy litery V, które odpowiadają za volume (ilość), velocity (szybkość), variety (różnorodność). Gdy znaleziono sposób na przechowywanie dużej ilości danych, pojawił się problem związany umiejętnościami pozyskania z nich wartościowych informacji.
– Dane w stanie „surowym”, czyli niesklasyfikowanym, w dużej skali nie są do opanowania przez człowieka. Ostatecznie, posiadając tak gigantyczny zbiór, który powiększa się w szybkim tempie, organizacje pozyskiwałyby z niego coraz mniej informacji. Antidotum przyniósł dalszy rozwój technologiczny, który doprowadził do tworzenia algorytmów, które automatyzowały proces pozyskiwania i analizy danych przy jednoczesnym ulepszaniu własnego systemu. Praktyka wykorzystania algorytmów do znajdowania wzorców w ogromnych ilościach danych, czyli big data, nazywana dziś uczeniem maszynowym (machine learnig), otworzyła przed nami nowe możliwości pozyskiwania nowej wiedzy – mówi Jakub Pawłowski, Chapter Lead, Commerzbank.
Szansa dla biznesu
Wraz z rozwojem technologii zwiększa się liczba urządzeń, za pomocą których konsumenci inicjują transakcje.
Ten szybki wzrost ilości danych wymaga lepszego gromadzenia, organizacji, integracji i analizy. Firmy wykorzystują duże zbiory danych w swoich systemach, aby usprawniać operacje, zapewniać lepszą obsługę klienta, kampanie marketingowe i podejmować działania, które ostatecznie mogą zwiększyć przychody i zyski. Analiza danych pomaga także przedsiębiorstwom zaplanować strategię, a nawet prognozować przyszłość.
W połączeniu z AI, dane pozwalają bankom i instytucjom finansowym dostarczać spersonalizowane usługi klientom. Indywidualnie dopasowane oferty wpływają na zwiększenie lojalności konsumentów i wzrost ich satysfakcji. Wykorzystanie chatbotów do obsługi klientów przyczynia się także do poprawy doświadczenia klienta i skraca czas oczekiwania na pomoc[2].
– Modelowanie danych daje wiele możliwości przedsiębiorstwom, którą może być, np. zmiana sposobu operacyjnego działania firmy, czyli optymalizacja prowadzonych procesów. Zarząd firmy dostaje do ręki wiedzę, której do tej pory nie miał i nie wiedział, jak ją pozyskać, co daje nieznaną jeszcze ilość możliwych zastosowań – podsumowuje Jakub Pawłowski.
Przykładem wykorzystania big data w bankowości może pochwalić się The United Overseas Bank, trzeci co do wielkości bank w Azji Południowo-Wschodniej, który stworzył system wykorzystujący big data do obliczenia wartości ryzyka. Natomiast Danske Bank, największy bank w Danii, dzięki wdrożeniu nowoczesnego rozwiązania do analityki korporacyjnej zredukował fałszywe alarmy o 60%, co zwiększyło liczbę prawdziwych zgłoszeń o 50%. Innym zastosowaniem może pochwalić się JPMorgan Chase&Co., który wykorzystał platformę Hadoop do generowania raportów przedstawiających trendy wśród klientów.
Kompetencje w świecie danych
Cyfryzacja sprawiła, że obecnie w większości branż technologia jest nieodzownym elementem funkcjonowania organizacji. Według raportu Światowego Forum Ekonomicznego ponad 75% firm w ciągu najbliższych 5 lat szykuje się na wdrożenie nowych technologii.
Gdy myślimy o big data, koniecznym wydaje się skierowanie uwagi na kwestię związaną z kompetencjami, które są niezbędne do pracy w tym obszarze – 42% organizacji wskazało jako priorytet na 3 miejscu szkolenie pracowników z wykorzystania sztucznej inteligencji i big data.
– Jeśli mówimy stricte o technologiach, na których opiera się big data, to w dalszym ciągu będą to projekty rozwijane w ramach fundacji Apache, takie jak właśnie Hadoop czy Spark. Na pewno przyda się też znajomość baz danych typu NoSQL. – wyjaśnia Jakub Pawłowski.
Celem gromadzenia i analizy danych jest pozyskanie wiedzy pozwalającej na zwiększenie dochodów lub zmiany organizacji pracy w danej firmie. Stąd też, istotną rolę odgrywają również analitycy. To oni interpretują dane i przedstawiają rekomendacje, ponieważ nadzorowanie pracy technologii jest tak samo ważne jak ona sama. Kluczową umiejętnością stała się także wizualizacja danych. Z pomocą przychodzą narzędzia takie jak PowerBI czy Tableau, które umożliwiają łączenie potrzeb biznesowych z wiedzą, jaką dają nam dane.
Nowy sposób podejścia do analizy danych sprawił, że powstał zawód o nazwie „Data Scientist”. Osoba, która jest zainteresowana tą rolą, musi zarówno znać dobrze charakter organizacji i dane, jakie ona wytwarza, ale i mieć solidne podstawy z matematyki i statystyki. Konieczna jest także umiejętność korzystania z narzędzi wspierających analizę baz danych i głębokie rozumienie sposobów ich działania.
– Na pewno Data Science jest naturalnym krokiem w rozwoju zawodowego dla osób, które już wcześniej zajmowały się analizą danych w bardziej tradycyjny sposób, czyli w oparciu o hurtownie danych i narzędzia business intelligence. Dla nich próg wejścia w bardziej złożony świat technologii będzie dużo niższy. Nie znaczy to oczywiście, że Ci, którzy nie mieli jeszcze styczności z big data nie mogą rozpocząć swojej przygody w tym obszarze. Od niedawna, kilka polskich uczelni oferuje studia podyplomowe z zakresu Data Science, co może być dobrym punktem wyjścia dla zainteresowanych – dodaje Jakub Pawłowski.
Machine learning a dane
– Zarówno big data, jak i machine learning są powszechnie wykorzystywane w obszarze finansów i bankowości. Oczywiście wraz z dalszym rozwojem, analizy dużych zbiorów danych będą coraz efektywniejsze, a prognozy coraz dokładniejsze. Ze względu na powszechność tych rozwiązań spadnie cena ich wdrożenia – mówi Jakub Pawłowski.
Kiedy mówimy o machine learning, warto wspomnieć o rozróżnieniu, które jest zależne od tego, jakiej analizie poddajemy duże zbiory danych. Jako pierwszy typ można wymienić uczenie nadzorowane. Polega ono na dostarczaniu pewnego zbioru danych, wraz z wnioskami jakie płyną z ich analizy – czyli odpowiednią klasyfikacją tych danych. Na bazie takiej próbki system zajmujący się big data może przewidywać podobne rezultaty w przyszłości. Przykład stanowi dostawca usług, który, dzięki analizie informacji z przeszłości, realizuje zlecenie klienta w taki sposób, że spełnia jego niewypowiedziane oczekiwania.
Drugi typ nowoczesnej analizy danych to uczenie nienadzorowane. Jest to sytuacja,
w której wrzucamy do modelu surowe dane i system sam musi odnaleźć podobieństwo i korelacje między nimi. Wyniki takiej analizy bywają często bardzo zaskakujące – szczególnie w kontekście trendów w zachowaniach konsumentów.
Bezpieczeństwo
Systemy bezpieczeństwa i wymagania dotyczące zgodności z przepisami ulegają ciągłym zmianom. Technologie wykorzystywane z udziałem big data pomagają identyfikować w wzorce, które wskazują na oszustwa. Odpowiednie gromadzenie dużych zbiorów informacji znacznie przyspiesza generowanie sprawozdań wymaganych przez organy regulacyjne. Bezpieczeństwo organizacji to jednak nie tylko problem związany z działalnością hakerską.
Firmy świadczące usługi finansowe wykorzystują systemy big data między innymi do zarządzania ryzykiem i bieżącej analizy rynku.
Co ciekawe według danych Eurostatu z 2022 roku tylko 58% pracodawców uświadamia swoich pracowników w kwestii ich obowiązków dotyczących bezpieczeństwa danych. 37% ma spisane dokładne procedury postępowania, a tylko 25% ma ubezpieczenie na wypadek wycieku danych.
– Jednym z trendów w branży, który wykorzystuje big data do uczenia maszynowego jest doskonalenie mechanizmów typu „fraud detection” w celu poprawy bezpieczeństwa transakcji. Polegają one na gromadzeniu i analizie zachowań klientów, pozwalając tworzyć pewne wzorce. W oparciu o nie system może w czasie rzeczywistym monitorować transakcje i wykrywać wszelkie anomalie behawioralne. W przypadku, kiedy przebieg i okoliczności transakcji odbiegają od dotychczasowych, może nastąpić konieczność dodatkowej autoryzacji takiej transakcji, np. poprzez kontakt konsultanta z klientem banku – tłumaczy Jakub Pawłowski.
Wyzwania
Mimo licznych korzyści, wykorzystywanie big data i AI w sektorze finansów i bankowości wiąże się z pewnymi wyzwaniami. Kwestie związane z prywatnością danych, bezpieczeństwem informacji oraz ryzykiem uzależnienia od technologii stawiają przed sektorem odpowiedzialność za zarządzanie danymi i związane z nimi ryzyka.
Wyzwanie stanowi także odpowiednia interpretacja danych, dlatego czynnik ludzki nadal odgrywa tutaj istotną rolę. To także nowe środowisko, które na dodatek ciągle się zmienia, więc nie jest jasno uregulowane.
W miarę jak technologia się rozwija, ważne jest, aby sektor finansowy nadal dostosowywał się do nowych możliwości, zachowując równowagę między innowacjami a odpowiedzialnością. Oczywiście nie znamy także w pełni możliwości technologii, dlatego trudno jest w pełni przewidzieć wszystkie zagrożenia, które mogą czekać na nas w przyszłości.
Czytaj także – Automatyzacja na rynku pracy. Kto straci pracę, a kto zyska?
Źródła:
Big Data - What it is and why it matters, SAS
Definition - big data, TechTarget, 2022
Global Big Data Analytics in Banking Market, Mordor Intelligance (2022 - 2027)
Future of Jobs Report 2023, World Economic Forum, 2023
ICT security in enterprises, Eurostat, 2022