[CI/CD] Configuration CI (1) - Install Jenkins (master-slave) with nginx proxy

May 13, 2021 · 9 min read

젠킨스 CI 환경 구성 하기

회사에서 개발 환경에 대한 CI 환경 구성을 하며 정리했던 기록이다.

구성한 환경은 아래와 같다.

Server: CentOS 7.9 8cpu 32ram 100G SSD Docker v20.10.7 Docker Compose v1.28.6 Jenkins v2.277.4 SonarQube v7.9.4

젠킨스를 서버에 설치 및 설정을 하는 과정이다. 젠킨스의 설치 환경 구성은 도커 환경 위에 Jenkins와 SSL 적용을 위해 nginx를 설치하여 proxy 구성을 하였다.

Create the nginx config files

./conf/nginx.conf

user nginx;
worker_processes 1;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

events {
    worker_connections 1024;
}

http {
    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    # 웹 설정하는 부분
    include /etc/nginx/conf.d/*.conf;

    # 로그 파일에 대한 포맷을 설정해주는 부분
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
      '$status $body_bytes_sent "$http_referer" '
      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log /var/log/nginx/access.log main;

    # https://www.lesstif.com/system-admin/nginx-http-413-client-intended-to-send-too-large-body-86311189.html
    client_max_body_size 8M;

    # gzip configuration
    gzip on;
    gzip_disable "msie6";
    gzip_min_length 10240;
    gzip_buffers 32 32k;
    gzip_comp_level 9;
    gzip_proxied any;
    gzip_types text/plain application/javascript application/x-javascript text/javascript text/xml text/css;
    gzip_vary on;

    sendfile on;
    keepalive_timeout 65;
}

./conf/jenkins.conf

upstream jenkins {
    server jenkins-master:8080;
}

server {
    listen 80 default_server;
    listen [::]:80 default_server;
    server_name "_";

    location / {
    proxy_set_header    X-Real-IP           $remote_addr;
    proxy_set_header    X-Forwarded-For     $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Proto   $scheme;
    proxy_set_header    Host                $host;
    proxy_set_header    X-Forwarded-Host    $host;
    proxy_set_header    X-Forwarded-Port    $server_port;
    proxy_set_header    X-NginX-Proxy       true;
    proxy_pass_header   Set-Cookie;
    proxy_http_version  1.1;
    proxy_cache_bypass  $http_upgrade;
    proxy_pass http://jenkins/;
   }
}

Create docker compose files

먼저 jenkins master node를 위한 컨테이너와 nginx 컨테이너를 정의한다.

version: "3"
services:
  nginx:
    image: nginx:latest
    container_name: nginx
    hostname: nginx
    privileged: true
    restart: always
    volumes:
      - ./conf/jenkins.conf:/etc/nginx/conf.d/jenkins.conf
      - ./conf/nginx.conf:/etc/nginx/nginx.conf
    ports:
      - 80:80
    environment:
      - TZ=Asia/Seoul
    depends_on:
      - jenkins-master

  jenkins-master:
    image: jenkins/jenkins:lts
    container_name: jenkins-master
    hostname: jenkins-master
    privileged: true
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /usr/bin/docker:/usr/bin/docker
      - $HOME/jenkins_master:/var/jenkins_home
    environment:
      - TZ=Asia/Seoul

jenkins 유저 생성 및 jenkin home 폴더 생성

jenkins_home 폴더를 생성하여 젠킨스 사용자에게 소유권을 넘기기 위한 과정이다.

젠킨스 내부에서 생성되는 jenkins 유저의 id는 기본적으로 1000인데, 해당 유저를 생성하지 않으면 권한 부여 시 아이디로 주면되므로 사용자 생성 부분은 생략해도 된다. 하지만, 나는 이왕이면 아이디보다 사용자명으로 보이는 게 좋은 것 같아서 동일한 아이디로 로컬 서버에 jenkins 유저를 생성하고, docker 그룹에 포함시켰다. (docker 그룹은 docker 설치 시에 생성되는 group 이다.)

sudo /usr/sbin/useradd jenkins -u 1000
sudo /usr/sbin/usermod -aG docker jenkins

도커 컨테이너 실행 전에 젠킨스 파일이 위치할 폴더 생성를 생성해주고, jenkins 유저에게 소유권을 넘겨준다.

mkdir -p /home1/irteam/jenkins_home
sudo chown -R jenkins:docker /home1/irteam/jenkins_home

docker container 기동

이제 위에서 생성한 docker compose 파일을 이용하여 도커 컨테이너를 띄운다.

docker-compose up -d

컨테이너 실행 후에 아래와 같은 명령어를 이용하여 정상적으로 기동 및 실행 중인지 확인할 수 있다.

$ docker ps
CONTAINER ID   IMAGE                      COMMAND                  CREATED          STATUS                  PORTS                                NAMES
7b527bf37770   nginx:latest               "/docker-entrypoint.…"   41 minutes ago   Up 24 minutes           0.0.0.0:80->80/tcp                   nginx
66c7edd6be59   jenkins/jenkins:lts        "/sbin/tini -- /usr/…"   41 minutes ago   Up 24 minutes           8080/tcp, 0.0.0.0:50000->50000/tcp   jenkins-master

만약, 도커 컨테이너 실행 시 후에 에러가 발생하였다거나, 실행 로그를 확인하고 싶으면 다음과 같이 확인할 수 있다.

docker container logs <container_name>

# ex) docker container logs jenkins

정상적으로 젠킨스가 실행이 되었다면...nginx에서 젠킨스의 8080 포트를 nginx를 통하여 80 포트로 포트포워딩 처리를 하였으므로 웹브라우저를 통하여 http://<server_ip> 주소로 젠킨스 관리자 화면에 접근할 수 있다.

Getting Started Jenkins

젠킨스에 설치 후 웹 브라우저를 이용하여 최초로 접속하는 경우에는 설치 시 설정된 초기 패스워드를 확인하여 접속해야한다. 초기 패스워드는 다음과 같은 방법으로 확인할 수 있다.

docker exec jenkins cat /var/jenkins_home/secrets/initialAdminPassword

해당 패스워드를 이용하여 로그인을 하고 나면 아래와 같이 플러그인을 설치하라는 매뉴가 나온다. 대부분 기본적으로 젠킨스에서 제안하는 플러그인을 설치하지만, 원하면 각각 별도로 플러그인을 골라서 설치할 수도 있다. getting-started-plugins

플러그인 설치가 완료가 되면, 초기 로그인 사용자에 대한 설정을 하는 화면이 나오게 된다.

그러면 일단 젠킨스 설치는 완료!!!

Add jenkins slave node

이제 기본적인 젠킨스 설치는 마쳤으므로 slave node 추가를 위한 설정을 한다. 아래와 같이 master container에 접근하여 ssh key를 생성한다.

$ docker container exec -it jenkins-master /bin/bash
jenkins@jenkins-master:/$  ssh-keygen -t rsa -C "jenkins-master"
Generating public/private rsa key pair.
Enter file in which to save the key (/var/jenkins_home/.ssh/id_rsa):
Created directory '/var/jenkins_home/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /var/jenkins_home/.ssh/id_rsa.
Your public key has been saved in /var/jenkins_home/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:wmChG3ToFUv4hCSzvhAai2Rx/aRVHv63cDeaqjxehnM jenkins-master
The key's randomart image is:
+---[RSA 2048]----+
|ooo=*.  .o       |
| =*+o+ oo .      |
|++o++ =  o       |
|*+.+.+ .  .      |
|=..   o S  o o o |
|. .    .  . + = .|
| .       o E +   |
|        ..= .    |
|        .+o.     |
+----[SHA256]-----+

그리고 ~/.ssh 폴더로 이동하여 id_rsa.pub 키를 클립보드로 복사해둔다.

jenkins@jenkins-master:/$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc.....

docker compose에 slave 노드 정의 추가

앞에서 정의한 docker-compose.yml 파일에 slave node에 대한 정의를 추가해준다.

  jenkins-master:
    image: jenkins/jenkins:lts
    container_name: jenkins-master
    hostname: jenkins-master
    privileged: true
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /usr/bin/docker:/usr/bin/docker
      - $HOME/jenkins_master:/var/jenkins_home
    environment:
      - TZ=Asia/Seoul
    links:
      - jenkins-agent01

  jenkins-agent01:
    image: jenkins/ssh-agent:latest
    container_name: jenkins-agent01
    hostname: jenkins-agent01
    privileged: true
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /usr/bin/docker:/usr/bin/docker
      - $HOME/jenkins_agent:/var/jenkins_home
    environment:
      - JENKINS_AGENT_SSH_PUBKEY=ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDLT3ZHpTr...
      - TZ=Asia/Seoul

컨테이너를 재기동한다.

docker container stop jenkins-master
docker container stop nginx
docker-compose up -d

노드 추가

젠킨스 웹페이지에 접속하여 노드 추가 하기 전에 Jenkins관리 > Manage Credentials 에서 ssh key를 등록한다.

credential

credential 키를 등록한 뒤에 Jenkins관리 > 노드관리 > 신규 노드 매뉴로 접근하여 agent를 등록한다. add-node

Trouble Shooting

java.io.IOException: Java not found on hudson.slaves.SlaveComputer@63a0ae53. Install Java 8 or Java 11 on the Agent.

agent 노드 추가 후에 launch 시에 아래와 같은 에러 로그가 노출이 되면 Jenkins관리 > 노드관리에서 해당 agent 노드의 java path를 설정해준다.

java.io.IOException: Java not found on hudson.slaves.SlaveComputer@63a0ae53. Install Java 8 or Java 11 on the Agent.
    at hudson.plugins.sshslaves.JavaVersionChecker.resolveJava(JavaVersionChecker.java:84)
    at hudson.plugins.sshslaves.SSHLauncher$1.call(SSHLauncher.java:453)
    at hudson.plugins.sshslaves.SSHLauncher$1.call(SSHLauncher.java:421)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
[07/05/21 17:26:56] Launch failed - cleaning up connection

아래와 같이 해당 agent 노드에 접속하여 java path를 확인하고 설정

$ docker container exec -it jenkins-agent01 /bin/bash
root@jenkins-agent01:/home/jenkins# which java
/usr/local/openjdk-8/bin/java

java.io.IOException: Could not copy remoting.jar into '/var/jenkins_home ' on agent

[07/05/21 17:35:37] [SSH] Remote file system root /var/jenkins_home  does not exist. Will try to create it...
java.io.IOException: Could not copy remoting.jar into '/var/jenkins_home ' on agent
    at hudson.plugins.sshslaves.SSHLauncher.copyAgentJar(SSHLauncher.java:738)
    at hudson.plugins.sshslaves.SSHLauncher.access$400(SSHLauncher.java:111)
    at hudson.plugins.sshslaves.SSHLauncher$1.call(SSHLauncher.java:456)
    at hudson.plugins.sshslaves.SSHLauncher$1.call(SSHLauncher.java:421)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Failed to mkdir /var/jenkins_home
    at com.trilead.ssh2.jenkins.SFTPClient.mkdirs(SFTPClient.java:91)
    at hudson.plugins.sshslaves.SSHLauncher.copyAgentJar(SSHLauncher.java:695)
    ... 7 more
Caused by: com.trilead.ssh2.SFTPException: Permission denied (SSH_FX_PERMISSION_DENIED: The user does not have sufficient permissions to perform the operation.)
    at com.trilead.ssh2.SFTPv3Client.expectStatusOKMessage(SFTPv3Client.java:555)
    at com.trilead.ssh2.SFTPv3Client.mkdir(SFTPv3Client.java:955)
    at com.trilead.ssh2.jenkins.SFTPClient.mkdirs(SFTPClient.java:89)
    ... 8 more

Create the nginx config files​

./conf/nginx.conf​

./conf/jenkins.conf​

Create docker compose files​

jenkins 유저 생성 및 jenkin home 폴더 생성​

docker container 기동​

Getting Started Jenkins​

Add jenkins slave node​

docker compose에 slave 노드 정의 추가​

노드 추가​

Trouble Shooting​

java.io.IOException: Java not found on hudson.slaves.SlaveComputer@63a0ae53. Install Java 8 or Java 11 on the Agent.​

java.io.IOException: Could not copy remoting.jar into '/var/jenkins_home ' on agent​

References​