CentOS7.3总统署镜像仓库Harbor

参照文档:

  1. harbor介绍:https://github.com/vmware/harbor
  2. harbor安装&使用指导:https://github.com/vmware/harbor/blob/master/docs/installation_guide.md
  3. docker-compose安装指导:https://docs.docker.com/compose/install/
  4. docker-compose版本:https://github.com/docker/compose/releases/
  5. harbor配置https:https://github.com/vmware/harbor/blob/master/docs/configure_https.md

一.环境

1. os

Server:CentOS-7-x86_64-1611(CentOS
7.3)

IP:10.11.51.71

2. docker

Docker:
version 1.12.6, build 78d1802

Docker-compose:version
1.16.1, build 6d1ac21

3. harbor(截止20171026)

Harbor:
version 1.2.2

二.部署harbor服务

1. 部署docker-compose

#docker服务已提前部署,可参考:https://docs.docker.com/engine/installation/linux/docker-ce/centos/
#如果使用curl或wget下载较慢,可以通过其他渠道提前下载后上传到服务器
[root@harbor ~]# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

#赋权
[root@harbor ~]# chmod +x /usr/local/bin/docker-compose

#验证docker-compose是否部署成功
[root@harbor ~]# docker-compose --version

美学原理 1

2. 下载harbor

#这里下载的是离线安装文件,在线安装文件为" harbor-online-installer-v1.2.2.tgz"
[root@harbor ~]# cd /usr/local/src/
[root@harbor src]# wget https://github.com/vmware/harbor/releases/download/v1.2.2/harbor-offline-installer-v1.2.2.tgz
[root@harbor src]# tar -zxvf harbor-offline-installer-v1.2.2.tgz

3. 配置harbor.cfg 

[root@harbor src]# cd harbor

#解压目录下的harbor.cfg文件即配置文件,详细的配置项可见参考文档:https://github.com/vmware/harbor/blob/master/docs/installation_guide.md#configuring-harbor
[root@harbor harbor]# vim harbor.cfg
#设置访问地址,可用ip,域名,不能使用127.0.0.1或localhost
hostname = 10.11.51.71

#默认使用http协议访问UI与token/notification服务;如果采用https,需要将nginx ssl设置为on,可参考:https://github.com/vmware/harbor/blob/master/docs/configure_https.md
ui_url_protocol = http

#mysql数据库root用户默认密码root123.
db_password = root123

#image复制并发量
max_job_workers = 3 

#是否为token生成证书,默认为on
customize_crt = on

#nginx cert与key文件的路径, 只有采用https协议是才有意义 
ssl_cert = /data/cert/server.crt
ssl_cert_key = /data/cert/server.key

#The path of secretkey storage
secretkey_path = /data

#Admiral's url, comment this attribute, or set its value to NA when Harbor is standalone
admiral_url = NA

#未启用calir服务,但解压目录下的”./prepare”文件中要检查以下相关参数配置,不能注释,否则环境准备检查不能通过,报”ConfigParser.NoOptionError: No option u'clair_db_password' in section: u'configuration' ”相关错误;或者在”./prepare”中注释相关检查与定义,但需要注意,文件中的关联太多,推荐修改“harbor.cfg”文件即可
clair_db_password = password

#以下配置为option配置,只在首次启动生效,可以登陆UI后修改
#email相关配置,均为默认配置
email_identity = 
email_server = smtp.mydomain.com
email_server_port = 25
email_username = sample_admin@mydomain.com
email_password = abc
email_from = admin <sample_admin@mydomain.com>
email_ssl = false

#UI登陆默认密码
harbor_admin_password = Harbor12345

##By default the auth mode is db_auth, i.e. the credentials are stored in a local database.
#Set it to ldap_auth if you want to verify a user's credentials against an LDAP server.
#默认认证db_auth为本地认证,支持ladp认证
auth_mode = db_auth

#ladp相关设置,虽然未采用ldap认证,但解压目录下的”./prepare”文件中要检查以下相关参数配置,不能注释,否则环境准备检查不能通过,报”ConfigParser.NoOptionError: No option u'ldap_timeout' in section: u'configuration' ”相关错误;或者在”./prepare”中注释相关检查与定义,但需要注意,文件中的关联太多,推荐修改“harbor.cfg”文件即可
ldap_url = ldaps://ldap.mydomain.com
# ldap_searchdn = uid=searchuser,ou=people,dc=mydomain,dc=com
# ldap_search_pwd = password
ldap_basedn = ou=people,dc=mydomain,dc=com
# ldap_filter = (objectClass=person)
ldap_uid = uid 
ldap_scope = 3 
ldap_timeout = 5

#默认开启自注册
self_registration = on

#token有效时间,默认30minutes
token_expiration = 30

#创建项目权限控制,默认是"everyone"(所有人),可设置为"adminonly"(管理员)
project_creation_restriction = everyone

#与远程registry通信时是否采用验证ssl
verify_remote_cert = on

4. 安排后端存储(optional)

默认情况下,harbor存储images在当地文件系统,但生环境面临见面时有发生更平稳之后端存储代替本地文件系统。

这时要更新harbor解压目录下”common/templates/registry/config.yml”文件之”storage”字段。具体修改见参考文档:https://github.com/vmware/harbor/blob/master/docs/installation\_guide.md\#configuring-storage-backend-optional

5. 安装harbor服务

harbor服务由以下容器组件提供:

harbor-log:运行rsyslogd的日记服务,通过log-drive的款式收集其他容器的日记,映射在宿主机的/var/log/harbor/目录;

registry:docker官方registry,负责保存镜像;

harbor-db:harbor的数据库,保存体系的job及项目、人员权力管理;

harbor-adminserver:harbor系统管理接口,可以改系统安排以及取得系统信息;

harbor_ui:harbor
ui,核心服务;

harbor_jobservice:harbor的job管理模块,主要是为着镜像仓库之前并使用;

nginx:反向代理,负责流量转发以及安康证明,对外提供的流量都是由nginx中转,它将流量分发到后端的ui与在docker镜像存储的docker
registry。 

#harbor解压目录下"install.sh"脚本会根据同目录下的"docker-compose.yml"的定义下载镜像并启动服务;
#镜像下载较耗时,可提前下载备用,以免发生部署过程中镜像不能pull的尴尬
[root@harbor harbor]# ./install.sh

美学原理 2

#查看镜像,另有Notary与Clair(漏洞扫描)相关的镜像,harbor集成了这两个服务,但默认不安装;如果需要安装,执行" ./install.sh --with-notary --with-calir"
[root@harbor harbor]# docker images

美学原理 3

#查看容器,可以看到没有Notary与Clair相关服务;也可使用"docker ps";
#"docker-compose ps"需要在"docker-compose.yml"文件所在目录执行相关操作
[root@harbor harbor]# docker-compose ps

美学原理 4

6. 访问harbor ui

浏览器访问:http://10.11.51.71(注意iptables提前放行相关端口)。

美学原理 5

默认用户名/密码:admin/Harbor12345

登陆后可见左侧的模块:项目/日志/系统管理(含用户管理、复制管理、配置管理);右上较量账户下有功能模块:用户设置/修改密码;

莫系统管理员账号登陆时,只能望有权力的花色以及日志,其余模块不可见。

美学原理 6

三.简单使用

1. 于web ui创建项目

web ui
homepage—>+项目,按规范填写项目名称,这里级别设置”私有”,即不勾选(勾选后会化”公开”);如果设置为官仓库,则拥有人数对斯种下之镜像拥有读权限,命令执行被莫待实行”docker
login”即可下载镜像,镜像操作和docker hub一致。

美学原理 7

美学原理 8

2. 啊品种填补加镜像

1)登陆本地私有registry

#需要修改registry支持http登陆,默认采用https,详见最后的问题章节
[root@harbor ~]# docker login 10.11.51.71

美学原理 9

2)为镜像打tag

#随意选取1个本地镜像打上私有registry的tag;
#tag格式为:domain(ip)/project/image:version
[root@harbor ~]# docker tag photon:1.0 10.11.51.71/harbor_1/photon:1.0
[root@harbor ~]# docker images

美学原理 10

3)push镜像及私有registry

#随意选取1个本地镜像打上私有registry的tag
[root@harbor ~]# docker push 10.11.51.71/harbor_1/photon:1.0

美学原理 11

上传完毕后而登陆web
ui,进入相应项目查看,如下:

美学原理 12

3. 添加项目成员

1)创建用户并分配权限

web ui
homepage—>系统管理—>用户管理—>+用户

美学原理 13

然将用户设置为总指挥,或进行去操作。

美学原理 14

2)添加档次成员

web ui
homepage—>项目—>harbor_1—>成员—>+成员,填写新建的账号并给一定角色

美学原理 15

不过对成员角色进行变更或去成员。

美学原理 16

3)一般用户账号进行镜像操作

#删除本地镜像
[root@harbor ~]# docker rmi 10.11.51.71/harbor_1/photon:1.0
Untagged: 10.11.51.71/harbor_1/photon:1.0
Untagged: 10.11.51.71/harbor_1/photon@sha256:30daf1dc09787f9d886fb3f554237ca9ba656d84590703e700f8ab740b342693

#使用一般用户账号登陆本地私有registry
[root@harbor ~]# docker logout 10.11.51.71
Remove login credentials for 10.11.51.71
[root@harbor ~]# docker login 10.11.51.71
Username: user1
Password: 
Login Succeeded

#下载镜像
[root@harbor ~]# docker pull 10.11.51.71/harbor_1/photon:1.0
1.0: Pulling from harbor_1/photon
Digest: sha256:30daf1dc09787f9d886fb3f554237ca9ba656d84590703e700f8ab740b342693
Status: Downloaded newer image for 10.11.51.71/harbor_1/photon:1.0

美学原理 17

4. 联合复制(仅介绍步骤)

齐复制需要2个harbor服务,如果以10.11.51.71举行主节点,则新服务器可做复制节点。

web ui
homepage—>项目—>harbor_1—>复制—>+复制规则,url是目标节点的地址,用户名/密码使用admin账号,勾选启用则开始同步image。

美学原理 18

5. 查日志(项目中为不过查阅日志)

web ui
homepage—>日志,操作日志按日各个记录。

美学原理 19

四.管理harbor生命周期

1. 健康操作

#"docker-compose"可以对harbor服务整个生命周期进行管理;
#必须在"docker-compose.yml"文件所在目录执行相关操作
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose stop | start | restart

2. 修改harbor.cfg的操作

#停止服务
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose -v

#修改harbor.cfg文件
[root@harbor harbor]# vim harbor.cfg

#运行prepare脚本更新配置
[root@harbor harbor]# ./prepare

#重启服务
[root@harbor harbor]# docker-compose up -d

3. 移除harbor服务容器同时保留镜像数据/数据库

[root@harbor harbor]# docker-compose down -v

4. 移除harbor服务容器全部多少(重新部署时以)

#持久数据,如镜像,数据库等在宿主机的/data/目录下;
#日志在宿主机的/var/log/harbor/目录下
[root@harbor harbor]# rm -r /data/database
[root@harbor harbor]# rm -r /data/registry

五.Harbor mirror registry

Mirror是registry的同等栽新鲜类别,起及近似代理服务器的缓存作用,在docker
hub与client之间做镜像的缓存。

主导工作规律:client
pull
1独镜像时,若镜像以mirror服务器在,则一直由mirror服务器拉取;若未有则是因为mirror服务器自动代理于docker
hub(可部署)中拉取镜像,并缓存到mirror服务器受到;当client再度拉取这个镜像时,直接由mirror服务器中拉取,不需再行由docker
hub中拉取。

1. 配置mirror server

#修改在解压目录中”common/templates/registry/config.yml”,在最后追加“proxy”字段;
#在运行“./prepare”之前做追加操作
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# vim common/config/registry/config.yml
proxy:
  remoteurl: https://registry-1.docker.io
  #如果访问私有仓库,需要带上docker hub(指定的仓库)的账号/密码
  #username: [username]
  #password: [password]

2. 重启harbor服务

#不执行“./prepare”
[root@harbor ~]# cd /usr/local/src/harbor
[root@harbor harbor]# docker-compose stop
[root@harbor harbor]# docker-compose rm -f
[root@harbor harbor]# docker-compose up -d

美学原理 20

3. 改客户端docker启动参数

#修改docker启动文件”[service]”字段
[root@test ~]# vim /usr/lib/systemd/system/docker.service
[Service]
EnvironmentFile=/etc/sysconfig/docker
ExecStart=/usr/bin/dockerd $OPTIONS

#定义启动参数,添加“--registry-mirror”与“--insecure-registry”参数
[root@test ~]# vim /etc/sysconfig/docker
OPTIONS="-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --registry-mirror=http://10.11.51.71 --insecure-registry 10.11.51.71"

#重启docker服务
[root@test ~]# systemctl restart docker

4. 验证

1)client拉取镜像

#在client服务器拉取镜像,108Mb的nginx镜像用时36min左右;
#虽然宿主机有做加速处理,但做harbor registry的容器没有加速,所以时间较长
[root@test ~]# date ; docker pull nginx ; date

美学原理 21

#在client删除nginx镜像,再拉取1次,时间缩短到11min,证明mirror缓存生效;
#效果依然不理想,但的确是生效了
[root@test ~]# docker rmi nginx
[root@test ~]# date ; docker pull nginx ; date

美学原理 22 

#如下从mirror registry拉取镜像的操作会很高效,同样的nginx镜像,实测在30second左右;
#即使在没有缓存的情况下效果也不错,但此时日志中显示操作用户名不再是anonymous,而是前面已经登陆的账号user1(登陆的是私有registry);
#且下载的镜像REPOSITORY也是”10.11.51.71/library/nginx”全称的形式,而不是docker hub默认的只有镜像名称
[root@test ~]# docker pull 10.11.51.71/library/nginx

2)查看日志

web ui
homepage—>日志,操作的是共用镜像,所以用户为anonymous,项目是默认的library。

美学原理 23

3)查看harbor registry

#在harbor服务器查看
[root@harbor ~]# ll /data/registry/docker/registry/v2/repositories/library/

美学原理 24

4)查看项目

web ui
homepage—>项目—>library—>镜像仓库,操作的凡国有镜像,项目是默认的library。

另外发现于品种中查缓存有延迟现象,即已生效的休养生息存不会见立马在web
ui中显示。

美学原理 25

六.问题

1. 美学原理本土登陆registry报错

[root@harbor ~]# docker login 10.11.51.71
Username: admin
Password: 
Error response from daemon: Get https://10.11.51.71/v1/users/: dial tcp 10.11.51.71:443: getsockopt: connection refused

美学原理 26

原因:docker
login/pull/push等对registry的操作默认启用https,但此harbor设置的是采取http。

解决方案:改docker服务启动参数,在/etc/sysconfig/docker文件中的OPTIONS中多”–insecure-registry
10.11.51.71″
(centos7受到默认没有/etc/sysconfig/docker文件,可以手工添加,同步修改启动文件/usr/lib/systemd/system/docker.service调用是参数文件)