Dataset pozostáva zo spracovaných alertov zozbieraných z platformy Warden počas niekoľkých mesiacov (2017–2018 a 2023–2024). Celkovo bolo zozbieraných viac ako tri miliardy alertov zo systémov detekcie prienikov, honeypotov a ďalších zdrojov dát nasadených v organizáciách naprieč Českou republikou.

Keďže dáta sú získané z detekčných mechanizmov (silver-standard labels), mali by byť považované za označené (labelované), avšak nie manuálne overené (napr. expertom). Tento fakt je potrebné zohľadniť pri interpretácii výsledkov odvodených z tohto datasetu. Podobný dataset bol vytvorený v roku 2020. Tento dataset obsahoval nespracované alerty pokrývajúce obdobie jedného týždňa [9].

Vzhľadom na odlišné obdobia zberu dát, ako aj špecifické podmienky súvisiace so zberom reálnych dát, je dataset rozdelený do štyroch častí:

• Časť 1 – časové rady IDEA alertov zozbieraných zo systému WARDEN medzi rokmi 2017 a 2018,
• Časť 2 – modifikované časové rady IDEA alertov z časti 1,
• Časť 3 – vyčistené časové rady IDEA alertov z časti 2,
• Časť 4 – časové rady IDEA alertov zozbieraných zo systému WARDEN medzi rokmi 2023 a 2024.

Pre prvú časť datasetu bolo zvolených 21 kritérií na vytvorenie časových radov. Prvé dva časové rady obsahujú pre každý časový interval:

• počet všetkých alertov,
•  počet unikátnych zdrojových IP adries.

Ostatné časové rady obsahujú počty alertov pre špecifickú kategóriu a pre tie, ktoré majú špecifický cieľový port alebo protokol, konkrétne:

• kategória Recon.Scanning – útoky, ktoré posielajú požiadavky na systém s cieľom odhaliť zraniteľnosti. Zahŕňa to aj rôzne testovacie procesy na získanie informácií o zariadeniach, bežiacich procesoch, používateľoch a pod.,
• kategória Availability.DDoS – systém je zahltený veľkým množstvom požiadaviek (paketov, spojení) z viacerých zdrojov, čo spôsobuje oneskorenia v prevádzke alebo zlyhanie systému,
• kategória Attempt.Login – viacnásobné pokusy o prihlásenie (napr. brute force),
• kategória Attempt.Exploit – pokus o kompromitáciu systému alebo narušenie služby zneužitím zraniteľností so štandardizovaným identifikátorom, ako je CVE (napr. buffer overflow, cross-site scripting a pod.),
• kategória Malware.Ransomware – softvér úmyselne vložený alebo spustený v systéme so škodlivým cieľom zašifrovať súbory a požadovať výkupné,
• kategória Intrusion.Botnet – detekcia komunikácie typu command-and-control (C&C) s riadiacim serverom,
• port 21,
• port 22,
• port 23,
• port 25,
• port 80,
• port 443,
• port 445,
• protokol TCP,
• protokol SSH,
• protokol UDP,
• protokol ICMP,
• protokol MS WBT Server,
• protokol telnet.

Táto časť datasetu sa nachádza v priečinku s názvom „part1“. Nachádza sa tu jeden komprimovaný CSV súbor – part1.csv.xz. Tento súbor obsahuje 22 stĺpcov. Prvý stĺpec predstavuje časovú značku (timestamp) a ostatné stĺpce sú hodnoty zodpovedajúce špecifikovaným kritériám. Každá hodnota vyjadruje, koľko udalostí nastalo pre zvolené kritérium v danom časovom intervale (30 minút).

Dataset obsahuje 17 473 riadkov (hodnôt) v časovom rozsahu od 11. decembra 2017 00:00 do 10. decembra 2018 00:00. V datasete sa nachádzajú dve miesta s chýbajúcimi hodnotami (hodnota je NaN – not a number). Prvé sa nachádza medzi 31. októbrom 2018 00:00 (riadok 15 552) a 31. októbrom 2018 23:30 (riadok 15 599) a druhé na konci datasetu od 9. decembra 2018 20:00 (riadok 17 464). Celkovo chýba 57 hodnôt. Obr. 1 zobrazuje časť datasetu pre kritériá „Count of all alerts“, „Category attempt login“ a „Port 445“.

Okrem toho poskytujeme Jupyter Notebook (read_part_1.ipynb) v priečinku part1, ktorý demonštruje načítanie dát, zobrazenie grafov, poskytuje ďalšie štatistické informácie a rozdelenie dát na trénovaciu a testovaciu množinu podľa prác [3,22] a podobne.

Pre prvú časť datasetu poskytujeme aj Jupyter Notebook (prediction_example_part_1.ipynb), ktorý ukazuje príklad použitia jednej časovej rady (Port 445) z tejto časti datasetu na predikciu pomocou LSTM siete a prístupu ARIMA. Tento príklad je možné jednoducho upraviť tak, aby bol použiteľný aj pre iné časové rady a ďalšie časti datasetu.

Druhá časť datasetu má rovnakú štruktúru ako prvá časť. Táto časť datasetu sa nachádza v priečinku s názvom „part2“. Nachádza sa tu jeden komprimovaný CSV súbor – part2.csv.xz. Táto časť datasetu pozostáva z 520 889 riadkov (hodnôt). Perióda pre túto časť datasetu je jedna minúta. Problematické a chýbajúce dáta zo začiatku a konca časového radu boli odstránené a prvá hodnota je z 13. decembra 2017 o 00:00. Posledná hodnota je z 9. decembra 2018 o 17:28.

Rovnako sa tu nachádzajú chýbajúce dáta (NaN) medzi 31. októbrom 2018 o 00:00 a 31. októbrom 2018 o 23:30 (1 411 riadkov). Poskytujeme tiež ukážkový Jupyter Notebook (read_part_2.ipynb) v priečinku „part2“, ktorý demonštruje načítanie dát, zmenu periód, zobrazovanie grafov a poskytovanie dodatočných štatistických informácií, ako aj rozdelenie dát na trénovaciu a testovaciu množinu podľa prác [3,22] a ďalšie funkcionality.

Tretia časť datasetu pozostáva z troch výstupov spracovania (priečinky „only_events“, „source_destination“ a „tables_csv“ v priečinku „part3“).

Každý z prvých dvoch výstupov spracovania (priečinky „only_events“ a „source_destination“) pozostáva z 20 komprimovaných CSV súborov. Názov každého súboru zodpovedá jednému z 20 kritérií opísaných v prvej časti (pričom jedno kritérium nemá časový rad). Každý súbor obsahuje stĺpce, ktoré zodpovedajú senzorom, ktoré odosielali alerty do systému Warden.

Celkovo sa v každom z prvých dvoch výstupov spracovania nachádza 271 časových radov (271 je súčet počtu stĺpcov vo všetkých súboroch jednotlivých kritérií). Perióda je opäť jedna minúta, takže každý riadok vyjadruje, koľko alertov bolo odoslaných daným senzorom za jednu minútu. Počet stĺpcov sa môže líšiť, pretože nie každý senzor odosiela alerty pre každé kritérium.

Súbory vo výstupoch spracovania sa líšia spôsobom, akým boli vytvorené. Viac informácií je možné nájsť v sekcii „Experimental design, materials and methods“. Časový rozsah časových radov je rovnaký ako v druhej časti datasetu, vrátane rovnakých chýbajúcich hodnôt.