系统版本:CentOS 7.4

本文的系统命令都是在root账号下执行的,假如非root账号执行,提示没有权限,可在命令前加sudo

一、更换yum源

1.备份当前源

1
2
cd /etc/yum.repos.d/
cp /CentOS-Base.repo /CentOS-Base-repo.bak

2.下载阿里源repo文件

1
wget http://mirrors.aliyun.com/repo/Centos-7.repo

3.清理旧包

1
yum clean all

4.将阿里源设置为默认源

1
mv Centos-7.repo CentOS-Base.repo

5.生成阿里源缓存,更新yum源

1
2
yum makecache
yum update

二、安装docker

1.安装所需软件包yum-util

1
yum -y install yum-utils

2.设置yum源

1
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

3.列出仓库中docker版本

1
yum list docker-ce  --showduplicates |sort -r


4.安装指定版本,当前centos可用为 18.03.1.ce-1.el7.centos

1
yum install docker-ce-18.03.1.ce-1.el7.centos

中途会有二次确认,按Y即可

安装完成后输入docker version可查看当前版本

三、安装python3

CentOS 7自带python版本为python2.7

1.安装依赖包

1
2
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

python3.7以上版本,需要额外安装

1
yum install libffi-devel -y

2.下载Python3安装包(当前为3.7.6)

1
wget https://www.python.org/ftp/python/3.7.6/Python-3.7.6.tar.xz

3.新建python3存放目录

1
mkdir /usr/local/python3

4.安装Python3

1
2
3
4
tar -xvJf  Python-3.7.6.tar.xz
cd Python-3.7.6
./configure --prefix=/usr/local/python3
make && make install

5.创建软链接

1
2
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

6.查看python版本
python3

三、Crawlab的安装

1.更新yum

1
yum update

2.配置docker镜像源,提升速度
创建 /etc/docker/daemon.json

1
vi /etc/docker/daemon.json

i开启编辑模式,在其中输入如下内容

1
2
3
 {
"registry-mirrors": ["https://registry.docker-cn.com"]
}

:wq保存退出
如果保存出错"/etc/docker/daemon.json" E212: Can't open file for writing
那么手动创建docker文件夹后再创建daemon.json文件

1
2
3
4
cd /etc
mkdir docker
cd /etc/docker
vim daemon.json

3.下载Crawlab镜像
启动docker

1
systemctl start docker

下载镜像

1
docker pull tikazyq/crawlab:latest


4.安装docker-compose
下载Docker Compose的当前稳定版本

1
curl -L "https://github.com/docker/compose/releases/download/1.25.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

将可执行权限应用于二进制文件

1
chmod +x /usr/local/bin/docker-compose

测试安装

1
docker-compose --version


5.查找docker-compose.yml文件位置

1
find / -name "docker-compose.yml*"

1
cd /var/lib/docker/overlay2/XXXX/diff/app/

此处XXXX替换为你的路径
6.配置docker-compose.yml文件
参考官方文档
7.启动Crawlab

1
2
docker-compose up -d   #默认为守护进程模式,容器以后台方式运行

第一次启动会下载安装数据库Redis 和Mongodb

8.访问Crawlab
在浏览器中输入 http://你的ip:8080即可看到Crawlab界面
⚠️在服务器防火墙放行8080端口

9.再启动
更新后

1
2
3
4
5
6
7
8
# 关闭并删除 Docker 容器
docker-compose down

# 拉取最新镜像
docker pull tikazyq/crawlab:latest

# 启动 Docker 容器
docker-compose up -d

重启后
查找docker-compose.yml文件位置
cd 到docker-compose.yml 所在文件目录下
启动

1
docker-compose up -d   

参考文档:
1.https://blog.csdn.net/kai402458953/article/details/100035672
2.https://blog.csdn.net/kai402458953/article/details/100026109
3.https://www.zhihu.com/question/277141716
官方文档:
https://docs.crawlab.cn/Installation/Docker.html
项目地址:
https://github.com/crawlab-team/crawlab