CIC-IDS-2018数据集分析笔记
数据集下载
列出所有的数据集：
aws s3 ls--no-sign-request "s3://c-cic-ids2018"--recursive --human-readable --summarize
结果：
2018-10-10 19:52:09 0 Bytes Original Network Traffic and Log data/
2018-10-10 19:52:23 0 Bytes Original Network Traffic and Log data/Friday-02-03-2018/
2018-10-10 20:00:39 225.8 MiB Original Network Traffic and Log data/Friday-02-03-2018/logs.zip
2018-10-10 20:00:51 41.7 GiB Original Network Traffic and Log data/Friday-02-03-2018/pcap.zip
2018-10-10 19:52:34 0 Bytes Original Network Traffic and Log data/Friday-16-02-2018/
2018-10-10 20:45:49 148.1 MiB Original Network Traffic and Log data/Friday-16-02-2018/logs.zip
2018-10-10 20:46:01 35.9 GiB Original Network Traffic and Log data/Friday-16-02-2018/pcap.zip
2018-10-10 19:52:41 0 Bytes Original Network Traffic and Log data/Friday-23-02-2018/
2018-10-10 20:46:10 199.8 MiB Original Network Traffic and Log data/Friday-23-02-2018/logs.zip
2018-10-10 20:46:31 55.0 GiB Original Network Traffic and Log data/Friday-23-02-2018/pcap.zip
2018-10-10 19:52:47 0 Bytes Original Network Traffic and Log data/Thursday-01-03-2018/
2018-10-10 21:41:13 217.1 MiB Original Network Traffic and Log data/Thursday-01-03-2018/logs.zip
2018-10-10 21:41:45 48.8 GiB Original Network Traffic and Log data/Thursday-01-03-2018/pcap.zip
2018-10-10 19:52:54 0 Bytes Original Network Traffic and Log data/Thursday-15-02-2018/
2018-10-10 21:41:28 142.6 MiB Original Network Traffic and Log data/Thursday-15-02-2018/logs.zip
2018-10-10 21:41:55 38.4 GiB Original Network Traffic and Log data/Thursday-15-02-2018/pcap.zip
2018-10-10 19:53:01 0 Bytes Original Network Traffic and Log data/Thursday-22-02-2018/
2018-10-10 21:41:42 195.3 MiB Original Network Traffic and Log data/Thursday-22-02-2018/logs.zip
2018-10-10 21:42:27 46.8 GiB Original Network Traffic and Log data/Thursday-22-02-2018/pcap.zip
2018-10-10 19:53:07 0 Bytes Original Network Traffic and Log data/Tuesday-20-02-2018/
2018-10-10 22:39:45 178.9 MiB Original Network Traffic and Log data/Tuesday-20-02-2018/logs.zip
2018-10-10 22:40:40 41.3 GiB Original Network Traffic and Log data/Tuesday-20-02-2018/pcap.rar
2018-10-10 19:53:14 0 Bytes Original Network Traffic and Log data/Wednesday-14-02-2018/
2018-10-11 00:44:20 133.7 MiB Original Network Traffic and Log data/Wednesday-14-02-2018/logs.zip
2018-10-11 20:22:03 37.2 GiB Original Network Traffic and Log data/Wednesday-14-02-2018/pcap.zip
2018-10-10 19:53:21 0 Bytes Original Network Traffic and Log data/Wednesday-21-02-2018/
2018-10-11 00:44:34 185.6 MiB Original Network Traffic and Log data/Wednesday-21-02-2018/logs.zip
2018-10-11 21:35:15 49.8 GiB Original Network Traffic and Log data/Wednesday-21-02-2018/pcap.zip
2018-10-10 19:53:28 0 Bytes Original Network Traffic and Log data/Wednesday-28-02-2018/
2018-10-11 00:44:47 216.1 MiB Original Network Traffic and Log data/Wednesday-28-02-2018/logs.zip
2018-10-11 22:21:03 49.6 GiB Original Network Traffic and Log data/Wednesday-28-02-2018/pcap.zip
2018-10-12 00:02:25 0 Bytes Procesd Traffic Data for ML Algorithms/
2018-10-12 00:02:49 336.0 MiB Procesd Traffic Data for ML Algorithms/Friday-02-03-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:10 318.3 MiB Procesd Traffic Data for ML Algorithms/Friday-16-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:33 365.1 MiB Procesd Traffic Data for ML Algorithms/Friday-23-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:03:59 3.8 GiB Procesd Traffic Data for ML Algorithms/Thuesday-20-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:08:38 102.8 MiB Procesd Traffic Data for ML Algorithms/Thursday-01-03-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:08:48 358.5 MiB Procesd Traffic Data for ML Algorithms/Thursday-15-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:09:20 364.9 MiB Procesd Traffic Data for ML Algorithms/Thursday-22-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:09:44 341.6 MiB Procesd Traffic Data for ML Algorithms/Wednesday-14-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:10:12 313.7 MiB Procesd Traffic Data for ML Algorithms/Wednesday-21-02-2018_TrafficForML_CICFlowMeter.csv
2018-10-12 00:10:33 199.6 MiB Procesd Traffic Data for ML Algorithms/Wednesday-28-02-2018_TrafficForML_CICFlowMeter.csv
下载指定的数据集：
aws s3 cp--no-sign-request "s3://c-cic-ids2018/Procesd Traffic Data for ML Algorithms/Friday-16-02-2018_TrafficForML_CICFlowMeter.csv" D:\cicids 2018
中间是服务器路径，最后是本地存储路径
⽂件解读：
⽂件名（记录⽇期）攻击类型
Thursday-01-03-2018Benign，Infiltration（渗透）
⽂件名（记录⽇期）攻击类型
Friday-02-03-2018Benign，Bot（僵⼫⽹络攻击）
Wednesday-14-02-2018Benign，SSH-Bruteforce，FTP-BruteForce
Thursday-15-02-2018Benign，DoS-GoldenEye，DoS-Slowloris
Friday-16-02-2018Benign，DoS attack-hulk，DoS attacks-SlowHTTPTest
Thuesday-20-02-2018Benign，DDoS attacks-LOIC-HTTP，DDoS-LOIC-UDP
Wednesday-21-02-2018Benign，DDOS-LOIC-UDP，DDOS-HOIC
Thursday-22-02-2018Benign，Brute Force -Web，Brute Force -XSS，SQL Injection
Friday-23-02-2018Benign，Brute Force -Web，burte Force -XSS，SQL Injection Wednesday-28-02-2018Benign，Infiltration
注：GoldenEye，Slowloris，hulk，SlowHTTPTest，LOIC，HOIC都是⽤于模拟Dos攻击的安全测试⼯具
攻击类型：
1.Brute-force attack（暴⼒攻击）
有许多⽤于进⾏暴⼒攻击和密码破解的⼯具，如海德拉、美杜莎、Ncrack、Metasploit 模块和 Nmap NSE 脚本。此外，还有⼀些⼯具，如哈希猫和有密码哈希破解的哈希转储。但最全⾯的多线程⼯具之⼀是Patator，它⽤Python编写，似乎⽐其他⼈更可靠、更灵活。它还可以在单独的⽇志⽂件中保存每个响应，供以后查看。在此数据集中，我们使⽤两个模块，在 Kali Linux 计算机上使⽤ FTP 和 SSH 作为攻击机，使⽤ Ubuntu 14.0 系统作为受害者计算机。对于密码列表，我们使⽤包含 9000 万字的⼤字典。
2.Heartbleed attack
利⽤Heartbleed attack最有名的⼯具之⼀是Heartleech。它可以扫描易受 Bug 攻击的系统，然后可⽤于利⽤它们并渗出数据。⼀些重要功能：
关于⽬标是否易受攻击的确定结论/不确定的判断
使⽤多个线程将⼼⾎数据批量/快速下载到⼤型⽂件中，⽤于脱机处理
⾃动检索私钥，⽆需额外步骤
⼀些有限的 IDS 规避
STARTTLS ⽀持
IPv6 ⽀持
Tor/Socks5n 代理⽀持
⼴泛的连接诊断信息
为了利⽤此漏洞，我们编译了 OpenSSL 版本 1.0.1f，这是⼀个易受攻击的版本。然后，我们使⽤Heartleech来检索服务器的内存。
3.Botnet（僵⼫⽹络）
在此数据集中，我们使⽤ Zeus，这是⼀个特洛伊⽊马恶意软件包，在 Microsoft Windows 版本上运⾏。虽然它可⽤于执⾏许多恶意和犯罪任务，但它通常⽤于通过浏览器中的⼈击键记录和抓取形式窃取银⾏信息。它也⽤于安装加密锁勒索软件。Zeus 主要通过驾车下载和⽹络钓鱼计划传播。此外，作为补充，我们使⽤阿能⼒的僵⼫⽹络，这是⼀个开源僵⼫⽹络，具有以下功能：
远程 cmd. exe 外壳
持久性
⽂件上传/下载
截图
密钥⽇志记录
在这种情况下，我们感染机器与两个不同的僵⼫⽹络（宙斯和阿雷），也每400秒，我们要求从僵⼫截图。
4.Denial-of-Service（拒绝服务）
Slowloris 是 Robert Hann 发明的⼀种拒绝服务攻击⼯具，它允许⼀台机器以最⼩的带宽和对不相关的服务和端⼝的副作⽤来关闭另⼀台机器的 Web 服务器。在这种情况下，我们使⽤基于慢速 Perl 的⼯具来关闭 Web 服务器。
5.Distributed Denial-of-Service（分布式拒绝服务）
⾼轨道离⼦⼤炮，通常缩写为HOIC，是⼀个开源⽹络压⼒测试和拒绝服务攻击应⽤程序写在 BASIC 中，旨在同时攻击多达 256 个URL。它已被设计，以取代由Praetox技术开发的低轨道离⼦炮。在这种情况下，我们使⽤免费的 HOIC ⼯具使⽤ 4 台不同的计算机进⾏DDoS 攻击。
6.Web Attacks（⽹络攻击）
在这项⼯作中，我们使⽤该死的易受攻击的⽹络应⽤程序 （DVWA） 来进⾏我们的攻击。DVWA 是⼀个易受攻击的 PHP/MySQL Web 应⽤程序。其主要⽬标是帮助安全专业⼈员在法律环境中测试他们的技能和⼯具，帮助 Web 开发⼈员更好地了解保护 Web 应⽤程序的过程，并帮助教师/学⽣在教室环境中教授/学习 Web 应⽤程序安全性。为了⾃动化 XSS 和暴⼒部分的攻击，我们开发了⼀个包含Selenium 框架的⾃动化代码。
7.Infiltration of the network from inside（内⽹渗透）
在这种情况下，应利⽤易受攻击的应⽤程序（如 Adobe Acrobat 阅读器 9）。⾸先，受害者通过电⼦邮件收到恶意⽂档。然后，在使⽤Metasploit 框架成功利⽤后，将在受害者的计算机上执⾏后门。现在，我们可以对受害者的⽹络进⾏不同的攻击，包括使⽤ Nmap 进⾏ IP 扫描、全端⼝扫描和服务枚举。
