翻阅 Wooyun ,然后找到了Github上。。。不得不说,Github 上确实有大量镜像资源
在这里做一个总结吧。按 Star 排序,把每个库的 Readme.md 剪辑到了这里。
文尾有彩蛋!
No.1 https://github.com/hanc00l/wooyun_public
Watch:224___Star:3586___Fork:1.8k
wooyun_public
乌云公开漏洞、知识库爬虫和搜索
crawl and search for wooyun.org public bug(vulnerability) and drops
1.wooyun公开漏洞爬虫版
源自2016年6月底使用scrapy爬虫爬取的4W公开漏洞和知识库,虚拟机为ubuntu14.04,采用python2+mongodb+flask(tornado)和Elasticsearch搜索引擎。
虚拟机下载地址:
https://pan.baidu.com/s/1HkR4ggvAwTikshsjcKYBuA ,提取密码:8wnb(2018.4.23更新)
2.wooyun公开漏洞纪念版
漏洞信息和代码来自于m0l1ce的wooyun_all_bugs_8.8W,包含8.8W漏洞信息(不含知识库);搜索和漏洞信息代码位于wooyun_final,对代码进行了部份修改:
- 修改了搜索功能,支持多关键字搜索和在漏洞详情中搜索
- 修改了离线图片文件的位置,搜索结果直接使用虚拟机中的离线图片
- 修改了代码以适应PHP5.6及更新版本
虚拟机为ubuntu16.04,PHP5.6+MySQL5.7+Apache2。虚拟机下载地址:
https://pan.baidu.com/s/1qYRqa3U 密码: w8vb (2017.7.4)
虚拟机用户名、密码为hancool/qwe123
3.其它
- 本程序只用于技术研究和个人使用,程序组件均为开源程序,漏洞和知识库来源于乌云公开漏洞,版权归wooyun.org。
No.2 https://github.com/Xyntax/1000php
Watch:31___Star:759___Fork:481
1000php
1000个PHP代码审计案例 (2016.7以前乌云公开漏洞)
说明
- 数据取自3.8W乌云已公开漏洞(截至2016.7)
- 漏洞在
./bugs
,./upload
保存了相关漏洞的图片资源 - 使用特征匹配提取,杂质在5%以内,如遇其他非php漏洞自行删除即可
- 愿乌云早日回归
No.3 https://github.com/starnightcyber/1000php
Watch:1___Star:759___Fork:481
1000php
1000个PHP代码审计案例 (2016.7以前乌云公开漏洞)
在原来的基础上Xyntax/1000php添加了简单的漏洞索引,并且加入了原css文件,方便查看
Sample
点击其中某个漏洞,查看
刚才试过了,直接打开index.html好像并不会简单按照我们的意愿显示,可以重新再执行一下代码:
python script.py
这样会重新生成index.html,在本地打开应该就没有问题,另外可能会出现乱码,可以用谷歌浏览器打开。
说明
- 数据取自3.8W乌云已公开漏洞(截至2016.7)
- 漏洞在
./bugs
,./upload
保存了相关漏洞的图片资源 - 使用特征匹配提取,杂质在5%以内,如遇其他非php漏洞自行删除即可
- 愿乌云早日回归
No.4 https://github.com/jiji262/wooyun_articles
Watch:27___Star:640___Fork:506
wooyun_articles
drops.wooyun.org 乌云Drops文章备份
(乌云网站已经离我们而去,可能再也不会回来了!谨以此纪念乌云!)
线上版本
(已更新图片)
线上版本源码
https://github.com/jiji262/wooyun_articles/tree/gh-pages
关于branches
gh-pages
由于wooyun服务器已经无法访问,所以文章中图片已经无法显示。所幸,之前已经将图片抓取下来,可以在这里查看所有图片。
master
目录如下:
wooyun.js:用于抓取 drops.wooyun.org 上文章的脚本;
drops:抓取下来的文章原文;
image_download:单独下载文章中图片的方法, bagpipe_version
和async_version
为多并发下载图片的解决方案。
Todo
[x]更新本地图片链接到文章中
No.5 https://github.com/boy-hack/wooyun-payload
Watch:12___Star:465___Fork:90
WooYun-Payload
从乌云漏洞库中提取的扫描规则,内容介绍: https://mp.weixin.qq.com/s/9RHVsw-HtAfo1UuPAqXZEw
Burpsuite 辅助插件
通过http请求包中域名,路径,参数等获取乌云历史漏洞中类似的数据。
数据说明
- data 从乌云镜像中提取的各类字典
- WooyunSearch burp插件源码
- 编译好的burp插件下载地址 https://github.com/boy-hack/wooyun-payload/releases
No.6 https://github.com/m0l1ce/wooyunallbugs
Watch:21___Star:398___Fork:154
wooyunallbugs
wooyun_all_bugs_8.8W
链接:https://pan.baidu.com/s/1htwVF3Q 密码:oskw
代码在bugs文件里
ps:php version 5.3
库解压到wooyun库里即可
ps:注意修改数据库连接密码 conn.php
ps:图片资源解压到根目录/upload/下 本地绑定下host 你的图片服务器 static.loner.fm
static.loner.fm 不会关掉的 大家可以放心使用
漏洞查询链接 www.loner.fm/bugs/
No.7 https://github.com/SuperKieran/WooyunDrops
Watch:13___Star:346___Fork:243
Wooyun Drops
DEMO: https://wooyun.kieran.top
静态版乌云 Drops
OPTIONS:
1.默认开启 https,如果不需要可以在 index.html 删掉
2.图片依赖于 https://github.com/SuperKieran/wooyun-img
全文搜索有想法还但没想好怎么做
最先想到的自然是写个后台,搜搜搜就完工了,但这不太方便
静态页面的搜索 我暂时没有好的方案,如果有好的想法的话可以在 issue 里提
No.8 https://github.com/SuperKieran/wooyun-img
Watch:0___Star:20___Fork:33
WooYun Drops 图片库
DEMO: https://superkieran.github.io/WooyunDrops
Github: https://github.com/SuperKieran/WooyunDrops
(编者注:图片在gh-pages分支)
No.9 https://github.com/grt1st/wooyun_search
Watch:22___Star:327___Fork:157
wooyun_search
乌云公开漏洞、知识库搜索
0x00.介绍
灵感来源于hanc00l的github项目wooyun_public
wooyun_public基于flask或者tornado,而本项目可以布置在apache、nginx等web服务器上。
如果你有wooyun的静态网页数据,那么我们可以开始了!
整个项目包括两个部分,第一部分是索引,将网页信息存储进数据库;第二部分是搜索,从数据库中查找信息。轻量级,支持进行二次开发。
静态网页网盘链接:
1
2bugs 链接: https://pan.baidu.com/s/1n_kkUaZZxcTEa4-v6sGa9Q 密码: sg98 (20180707)
drops 链接: https://pan.baidu.com/s/1r2Y7rfntwnjglX6HtzDk6w 密码: 738f (20180707)
0x01.依赖组件及说明
python 2.7和pip
python依赖:MySQLdb,lxml(推荐)
mysql,php及任意web服务器(php需开启pdo-mysql模块
将本项目放进web服务器目录下,bugs目录下为漏洞库文件,drops目录下为知识库文件。
1
2
3
4
5
6
7
8文件说明:
app_bugs.py bugs的索引,依赖lxml
app_drops.py drops的索引,依赖lxml
index.html 搜索的主页
search.php 执行搜索的页面
config.php php配置文件
./bugs bugs静态文件的目录
./drops drops静态文件的目录
0x02.索引配置
app_bugs.py为建立bugs索引的脚本,app_drops为建立drops索引的脚本。
因为python脚本中open()函数打开的文件名不能为中文,建议将drops目录下的中文文件名改为英文(例如,安全运维-xxxx.html=>safe-xxxx.html)
python脚本运行前需要修改如下语句,更改参数如主机、端口号、用户名、密码。
1
conn=MySQLdb.connect(host='localhost',port=3306,user='root',passwd='',db='wooyun',charset='utf8')
在mysql中建立数据库wooyun,数据表bugs、drops,分别建立字段title,dates,author,type,corp,doc与title,dates,author,type,doc。
1
2
3CREATE DATABASE `wooyun` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
create table bugs(title VARCHAR(500),dates DATETIME, author CHAR(255),type CHAR(255),corp CHAR(255),doc VARCHAR(200) PRIMARY KEY);
create table drops(title VARCHAR(500),dates DATETIME, author CHAR(255),type CHAR(255),doc VARCHAR(200) PRIMARY KEY);注意mysql编码如下,需要为utf-8(character_set_server不为utf-8要修改mysql配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14use wooyun;
show variables like 'character%'; #查看编码
+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+如果编码错误会报错,比如:
1
2Warning: Incorrect string value: '\xE5\xBB\xB6\xE9\x95\xBF...' for column 'title' at row 1
cur.execute("INSERT INTO `drops`(`title`,`dates`,`author`,`type`,`doc`) VALUES(%s,%s,%s,%s,%s)", tmp)在mysql里查看会发现有一堆???
之后就可以建立索引了
1
2sudo python ./app_bugs.py
sudo python ./app_drops.pybugs数目为40280,drops数目为1264
1
2
3use wooyun;
select count(*) from bugs;
select count(*) from drops;
0x03.搜索配置
修改config.php中修改如下语句中参数,分别是主机、端口、用户名、密码与数据库。
1
2
3
4
5$config['host'] = '127.0.0.1';
$config['port'] = '3306';
$config['user'] = 'root';
$config['passwd'] = '';
$config['database'] = 'wooyun';index.html与search.php样式来自于前端静态资源托管库。f12进入开发者模式,如果样式文件访问不到可以使用本地或cdn的样式(bootstrap3.3.7、jquery3.1.0)。只需要更改两个网页里面的如下内容。
1 | <link href="//lib.baomitu.com/twitter-bootstrap/3.3.7/css/bootstrap.min.css" rel="stylesheet" type="text/css"> |
为了防止因为web服务器配置不正确,导致访问http(s)://example.link/bugs/或者http(s)://example.link/drops/而进入index of页面泄露所有文件,在目录下放置内容为空的index.html即可。
linux下由于selinux可能会导致无法连接数据库,可以使用如下命令:
1
2getenforce //查看selinux状态
setenforce 0 //暂时关闭selinux
0x04.问题
- drops很奇怪的会都需web目录下的js而不是本身目录里的js,所以drops的页面会有些乱。开发者模式看一下,缺少的js为web目录/static/drops/css与web目录/static/drops/js。新建目录再把drops下的css、js文件夹复制过去即可
0x05.更新日志
2016.10.08更新:上传了bugs.py。由于bugs部分页面(约143条)的author带有js,正则匹配出的信息出错,所以上传了bugs.py用于修正,在app.py后执行,python bugs.py。(2016.11.09已修正,无需执行bugs.py)
2016.10.10更新:重写了search.php和search.css,基本适配了各种浏览器和移动端。
2016.11.09更新:匹配索引将BeautifulSoup换成了lxml,运行速度更快。优化了匹配(感谢@tuola)。
2017.01.01更新:增加了作者搜索,优化了分页逻辑。
2017.3.7更新:重写了前端,优化了php代码。
欢迎反馈问题。可以提问issue也可以通过[email protected]联系我。后续也会进行其他细节优化。
0x06.后记
本来打算把wooyun_public布置在我的树莓派上,因为一些原因失败,所以萌生了自己搭建的念头
总共搭建了十天,接触了js、bootstarap、beautifulsoup、mysqldb、mysqli和pdo。虽然以前也会css与php,但这是第一次真正写一个动态网页,感觉很棒。
0x07.其他
本程序只用于技术研究和个人使用,程序组件均为开源程序,漏洞和知识库来源于乌云公开漏洞,版权归wooyun.org。
个人邮箱:[email protected]
No.10 https://github.com/LubyRuffy/wyquery
Watch:12___Star:109___Fork:92
wyquery
Wooyun公开的漏洞详情是一个很好的资源,但是没有提供很好的搜索引擎和排序功能来进行数据分析,所以,这个项目用户镜像wooyun上已经对外公开的漏洞详情,并提供更多搜索和排序的功能。
你有没有想完成如下功能?
- 我想只看给钱的漏洞
- 我想只看带乌云标志的漏洞
- 我想按照rank排序漏洞
如果有,那你跟我遇到的问题一样,不妨试试这个项目!线上已经搭建好的DEMO环境如下:http://120.27.41.90/
搭建环境
建议在Linux下运行,当然Windows下也可以。Ruby 2.0+
1 | git clone https://github.com/LubyRuffy/wyquery.git |
初次抓取数据
1 | cd wyquery |
同步数据
这时可以建立定时任务
1 | crontab -e |
No.11 https://github.com/jas502n/fuzz-wooyun-org
Watch:3___Star:96___Fork:49
fuzz-wooyun-org
WooYun Fuzz 库
No.12 https://github.com/xinali/wooyun
Watch:6___Star:95___Fork:42
wooyun
wooyun datasets
- usernames
- passwords
- URLs
- sensitive data patterns
- fuzzing payloads
- web shells
No.13 https://github.com/l3m0n/wooyun-wiki
Watch:5___Star:75___Fork:55
wooyun-wiki
wiki.wooyun.org的部分快照网页
No.14 https://github.com/fxfactorial/wooyun.github.io
Watch:6___Star:44___Fork:33
【没有 Readme.md 介绍】
No.15 https://github.com/CaledoniaProject/wooyun_offline_ui
Watch:4___Star:40___Fork:19
说明
花了10分钟重做了一套乌云离线Web UI,重做总共有两个目的,
- 没必要使用14GB的虚拟机,经过处理,40K漏洞只占用500MB mongodb 硬盘空间
- 上述作者没有提取 关注数、是否为有奖励或者漏洞预警的漏洞 等几个关键字段
特性
支持漏洞标题搜索、漏洞wooyun id搜索
支持漏洞查看(删除了评论),原始 wooyun UI
安装
复制 src 到 web 目录,e.g
1 | cp -R src ~/web/wooyun_offline |
安装 php-mongo 扩展
mongo 默认为 127.0.0.1:27017
,如有不同,修改 src/config.php
即可
1 | <?php |
导入数据
导入到 wooyun
数据库,bugs
表即可
由于政策风险,我不能提供数据,可以用网上的14GB虚拟机导出
然后使用 src/scripts/minify.pl
精简 mongo 数据库
已知问题
- 缺少
images/blood.png
- 漏洞库不全,可惜没用高权限账号爬
No.16 https://github.com/lxj616/DVWA-WooYun
Watch:1___Star:23___Fork:16
DVWA-WooYun
DVWA-WooYun is a plugin-set for DVWA , with plugins based on wooyun.org real bug reports
It should have been a fork of the RandomStorm/DVWA , But while I was coding it , I didn’t know a thing about github :(
And now I do , so scavenged old codes to github
And I modified lot of things , can’t remember why , just messed around , It seems to be not able to merge with the original DVWA now
DAMN VULNERABLE WEB APP
Damn Vulnerable Web App (DVWA) is a PHP/MySQL web application that is damn vulnerable. Its main goals are to be an aid for security professionals to test their skills and tools in a legal environment, help web developers better understand the processes of securing web applications and aid teachers/students to teach/learn web application security in a class room environment.
WARNING!
Damn Vulnerable Web App is damn vulnerable! Do not upload it to your hosting provider’s public html folder or any working web
server as it will be hacked. I recommend downloading and installing XAMPP onto a local machine inside your LAN which is used solely for testing.
We do not take responsibility for the way in which any one uses Damn Vulnerable Web App (DVWA). We have made the purposes of the application clear and it should not be used maliciously. We have given warnings and taken measures to prevent users from installing DVWA on to live web servers. If your web server is compromised via an installation of DVWA it is not our responsibility it is the responsibility of the person/s who uploaded and installed it.
License
This file is part of Damn Vulnerable Web App (DVWA).
Damn Vulnerable Web App (DVWA) is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.
Damn Vulnerable Web App (DVWA) is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
You should have received a copy of the GNU General Public License
along with Damn Vulnerable Web App (DVWA). If not, see http://www.gnu.org/licenses/.
Download
DVWA is available either as a package that will run on your own web server or as a Live CD
Installation
Default username = admin
Default password = password
Installation video:
http://www.youtube.com/watch?v=GzIj07jt8rM
The easiest way to install DVWA is to download and install ‘XAMPP’ if you do not already have a web server setup.
XAMPP is a very easy to install Apache Distribution for Linux, Solaris, Windows and Mac OS X. The package includes the Apache web server, MySQL, PHP, Perl, a FTP server and phpMyAdmin.
XAMPP can be downloaded from:
http://www.apachefriends.org/en/xampp.html
Simply unzip dvwa.zip, place the unzipped files in your public html folder, then point your browser to http://127.0.0.1/dvwa/index.php
Database Setup
To set up the database, simply click on the Setup button in the main menu, then click on the ‘Create / Reset Database’ button. This will create / reset the database for you with some data in.
If you receive an error while trying to create your database, make sure your database credentials are correct within /config/config.inc.php
The variables are set to the following by default:
1 | $_DVWA[ 'db_user' ] = 'root'; |
Troubleshooting
For the latest troubleshooting information please visit:
http://code.google.com/p/dvwa/issues/list
+Q. SQL Injection wont work on PHP version 5.2.6.
-A.If you are using PHP version 5.2.6 you will need to do the following in order for SQL injection and other vulnerabilities to work.
In .htaccess:
Replace:
1 | <IfModule mod_php5.c> |
With:
1 | <IfModule mod_php5.c> |
+Q. Command execution won’t work.
-A. Apache may not have high enough priviledges to run commands on the web server. If you are running DVWA under linux make sure you are logged in as root. Under Windows log in as Administrator.
+Q. My XSS payload won’t run in IE.
-A. If your running IE8 or above IE actively filters any XSS. To disable the filter you can do so by setting the HTTP header ‘X-XSS-Protection: 0’ or disable it from internet options. There may also be ways to bypass the filter.
Links
Homepage: http://www.dvwa.co.uk
Project Home: https://github.com/RandomStorm/DVWA
Created by the DVWA team
No.17 https://github.com/neargle/SecNewsBak
Watch:2___Star:20___Fork:17
README
该项目只用于备份Sec-News上Drops乌云知识库的失效文章,并非Drops整站文章。
文章列表如下:
1 | drops_arti_list = [ |
No.18 https://github.com/acgpiano/wooyun-node
Watch:2___Star:9___Fork:8
wooyun-node
这是wooyun.org镜像的node.js版本,用的mysql,支持标题,作者,类型,厂商检索。
方便新手小白使用,搭建方法非常简单。
首先需要安装mysql,要把数据库语言设置成utf8(非常重要,不然会出错)。由于各个系统设置方法不同,需自行百度。检测是否成功可以登进数据库,执行
1 | status; |
如果是以下状态,就代表可以下一步了。
把该项目克隆到本地
1 | git clone https://github.com/acgpiano/wooyun-node.git |
修改config.js里面的用户名和密码,改为你的mysql的用户名和密码,port是服务的端口,可以自行修改。
下载wooyun的静态资源:
链接: 百度网盘 密码: mqnp
需要解压到wooyun-node/static/bugs/
文件夹下面(自行新建bugs文件夹)
接下来安装node.js,去官网下载就好了。
接下来安装cnpm(如果可以连Internet这一步可以忽略,以下命令的cnpm全都可以用npm代替)
1 | npm install -g cnpm --registry=https://registry.npm.taobao.org |
然后在wooyun-node里执行
1 | cnpm install |
等所有的依赖装完再执行
1 | npm run db |
等数据库建表完后,共40293条,再执行
1 | npm start |
默认port端口是9999,可以在config.js里面修改
打开浏览器 http://127.0.0.1:9999就可以使用了。
仅供自学使用,如果要部署到公网可以自己改用orm,修改表结构加速查询,防注入。
当然是彩蛋辣~
上面提到的 Baidu网盘 链接整理:
https://github.com/hanc00l/wooyun_public
Watch:224___Star:3586___Fork:1.8k
1 | 虚拟机下载地址: |
https://github.com/m0l1ce/wooyunallbugs
Watch:21___Star:398___Fork:154
1 | 链接:https://pan.baidu.com/s/1htwVF3Q 密码:oskw |
https://github.com/grt1st/wooyun_search
Watch:22___Star:327___Fork:157
1 | 静态网页网盘链接: |
https://github.com/acgpiano/wooyun-node
Watch:2___Star:9___Fork:8
1 | 链接: https://pan.baidu.com/share/init?shareid=3613354206&uk=4113422303 密码: mqnp |
当然还有彩蛋辣~
新建一个文件夹,在里面打开终端,复制粘贴下面代码,或者保存为 .sh (linux)、 .bat (Windows),命令行调用辣
注意:最后三个库特别大,如果网络不好,可能出现 git 连接超时,可以连接更优网络,或参考我的文章
1 | echo . |