[TECH] Cloudwatch Logs로 로그 파일 수집하기

[티끌] 티끌 Cloudwatch Logs로 로그 파일 수집하기
 
안녕하세요 티플의 백엔드 개발자 김유정입니다 :)
오늘은 티플 서비스에 로그를 기록할 수 있는 Cloudwatch Logs 기술에 대해 소개하고자 합니다.

---

👩‍💻 Cloudwatch Logs란?

Cloudwatch Logs는 Amazon Web Services의 서비스 중 하나로, 시스템 및 AWS 리소스에서 생성된 로그 데이터를 수집, 모니터링, 저장할 수 있는 서비스입니다.
 
다음과 같은 기능을 수행할 수 있습니다.

• 로그 데이터 수집 : AWS 리소스(EC2 인스턴스, RDS 인스턴스 등)에서 발생하는 로그를 쉽게 수집할 수 있습니다.
• 로그 데이터 모니터링 : 로그 데이터를 실시간으로 모니터링하고 필터링하여 시스템의 동작을 실시간 파악하고 이상 현상을 감지할 수 있습니다.
• 로그 데이터 저장 : 수집한 로그를 안정적으로 저장합니다. 저장된 로그 데이터는 나중에 분석, 검색, 보관할 수 있습니다.
• 로그 데이터 분석 : 검색 쿼리를 사용하여 로그 데이터를 필터링하고 쿼리할 수 있습니다.
• 경고 및 알림 : 로그 데이터를 기반으로 특정 이벤트가 발생할 경우 알림을 보낼 수 있습니다.

---

👩‍💻 로깅이란? 왜 필요한가요?

로그(Log)란 시스템 또는 소프트웨어 애플리케이션에서 발생하는 이벤트나 동작의 기록을 말합니다.
 
운영 서버를 관리하게 되면 가장 많이 하는 일 중 하나가 로그를 읽는 작업입니다. 로그는 그 당시 어떤 일이 일어났는지 확인할 수 있는 중요한 단서로 문제 해결을 할 수 있는 유일한 단서가 될 수 있습니다. 그렇기 때문에 로그들을 반드시 기록하고 있어야 하며 일정 기간 동안 유실되지 않도록 잘 관리해야 합니다.

---

👩‍💻 설치 방법

1. IAM 설정
IAM Role을 생성하여 CloudWatchAgentServerPolicy를 추가하고 원하는 EC2 인스턴스에 적용합니다.

IAM Role - 정책 추가

 
2. CloudWatch agent 설치

sudo curl -O https://s3.amazonaws.com/amazoncloudwatch-agent/ubuntu/amd64/latest/amazon-cloudwatch-agent.deb

*설치 방법은 ubuntu 기준입니다.
 
url을 통해 설치 파일(.deb)을 저장합니다.

 
3. 설치 파일(.deb)을 실행합니다. 

sudo dpkg -i amazon-cloudwatch-agent.deb

 
4. 설정 파일을 작성합니다. 필자는 config.json 파일을 통해 설정 파일을 작성할 예정이므로 default choice를 선택하고 넘어갑니다. 

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard

 
5. 다음과 같이 설정 파일을 작성합니다.

vim config.json

• file path : 수집하려는 로그 파일 경로 지정
• log_group_name : 로그 데이터를 저장할 cloudwatch logs그룹의 이름을 지정. 로그 그룹은 여러 로그 스트림을 하나로 모아둔 곳.
• log_stream_name : 로그 데이터를 저장할 cloudwatch logs 스트림의 이름을 지정. 로그 스트림은 데이터를 식별하는데 사용. deploy라는 이름의 로그 스트림에 로그를 저장하겠다는 의미.

 
6. 설정 파일을 적용합니다. 

sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:/opt/aws/amazon-cloudwatch-agent/bin/config.json -s

 

---

❗️설정 파일을 적용했는데도 로그 파일이 안올라가고 있다면? 

• Cloudwatch agent의 자체적인 로그파일을 읽어와 문제를 파악해 봅니다.

tail -f /opt/aws/amazon-cloudwatch-agent/logs/amazon-cloudwatch-agent.log

• AWS 자격 증명 파일이 존재하지 않다고 나와있습니다.
• CloudWatchFullAccess 정책을 가지는 IAM 사용자를 만듭니다. 이때 생성된 access-key와 secret-access-key는 꼭 저장합니다!

• 사용자를 생성했으니 다음과 같이 /root/.aws/credentials 파일에 access-key와 secret-access-key 정보를 저장합니다.

sudo mkdir /root/.aws

sudo touch /root/.aws/credentials

sudo chmod 600 /root/.aws/credentials

 

vim secret-access-key

* 아래 내용 작성 후 저장

[default]
aws_access_key_id = {access-key}
aws_secret_access_key = {secret-access-key}

[AmazonCloudWatchAgent]
aws_access_key_id = {access-key}
aws_secret_access_key = {secret-access-key}

---

7. 중지하고 재시작합니다.

/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -m ec2 -a stop

/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -m ec2 -a start

 
 
8. status 값을 확인합니다.

/opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -m ec2 -a status

status가 "running"으로 정상 작동된 것을 확인합니다.

 
9. 결과

---

👩‍💻 마치며

로깅 시스템 구축에 대한 긴 글을 읽어주셔서 감사합니다!
 
QA를 진행하면서 에러 잡기가 어려워 로깅의 필요성을 몸소 느꼈는데요.
여러분들도 자신의 서비스에 맞는 로깅 시스템을 구축해 보다 빠르게 디버깅하여 문제를 해결하셨으면 좋겠습니다!
 
여러분의 댓글과 피드백을 기다리며, 다음에 더 많고 유용한 정보로 돌아오겠습니다. 감사합니다😄

---

👩‍💻 참고

https://sweetysnail1011.tistory.com/30

[AWS CloudWatch] 16-2. CloudWatch Agent - 로그 기록

https://velog.io/@mohai2618/CloudWatch-Logs-적용하기

CloudWatch Logs 적용하기