HTTP 요청은 서버에서 Location Header를 통해서 HTTPS를 Redirection을 하고 있다. 그런데 방화벽에 의해서 80번 포트는 막혀있어서 http 요청은 timeout이 발생하고 있다. 그런 상황에서 브라우저에서 http로 요청을 하면 정상적으로 https redirection이 되어서 해당 도메인으로 정상적으로 접속이 가능하다. 방화벽에 막혀서 80번 포트에 대해서 정상적으로 응답을 못 받는데, 어떻게 브라우저에서는 http로 접근이 가능한 것이지? 이에 대한 질문에 대해서 HSTS의 존재와 역할을 이해하면 답을 할 수 있다. 이번 글에서는 간단하게 HSTS를 살펴본다.

Strict Transport Security Header

GCP의 관리형 데이터베이스 서비스인 SQL의 User를 관리할 때, 제약사항이 없다면 IAM 인증을 활용하는 것을 고려하자. Google Workspace를 사용하고 있다면, 이미 생성된 구글 이메일 계정과 Group을 통해서 데이터베이스 접속 권한을 제어할 수 있다. 데이터베이스 User를 비밀번호 인증으로 생성하여 관리하는 대신에, 구글 계정으로 인증하여 데이터베이스를 접속할 수 있도록 관리하자. 이번 글에서는 IAM 인증을 위한 설정 방법을 설명한다.

GCP IAM으로 MySQL 접속하기

OpenTelemetry Collector를 사용할 때, 다양한 exporter를 통해서 Telemetry data를 저장할 수 있다. GCP를 사용하는 경우에는 Google Cloud Exporter를 사용해서 Telemetry data를 쉽게 저장할 수 있다. 그런데 Log의 경우에는 내가 설정한 Resource attribute가 기대한 것처럼 Google Cloud Logging의 Label에 등록되지 않는 경우를 경험할 수도 있다. 따라서 오늘은 Google Cloud Exporter를 사용할 때, Resource Attribute들이 Cloud Logging Label로 어떻게 변환되는지 자세히 설명한다.

Google Cloud Exporter가 Log의 Resource Attribute를 Cloud Logging Label로 어떻게 변환할까?

OpenTelemetry Operator로 Auto-Instrumentation을 주입할 수 있다. 그런데 환경변수 설정을 올바르게 하지 않거나 OpenTelemetry Collector에서 proccessor 설정을 제대로 해주지 않으면, Resource attribute중 k8s.namespace.name가 빈문자열로 보내질 수 있다. 이러한 경우에 Auto-Instrumentation에서 Resource attribute가 어떻게 자동으로 설정되는지 resourceDetector들을 이해하면 쉽게 해결할 수 있다. 따라서 이번 글에서는 Resource Detector들에 대해서 자세히 살펴본다.

OpenTelemetry GcpDetector를 이해하기

Bitbucket OIDC를 이용하여 GCP 리소스를 접근하는 방법을 설명한다. Bitbucket Pipeline으로 GCP 리소스를 배포/변경할 때 OIDC를 통해서 임시 Credential를 발급할 수 있다. 다른 사람이 동일한 작업을 할 때, 삽질하지 않도록 완전한 예제를 공유하고자 작성한다.

Bitbucket OIDC with GCP

GCP Secret Manager를 IaS로 관리할 때, 저장하는 Secret 값을 Key Management Service의 비대칭키와 Terraform의 google_kms_secret_asymmetric data source로 관리할 수 있다. 공개키로 암호화한 비밀 값을 Terraform resource definition에 정의하고, 런타임 과정에서 복호화하여 Secret Manager의 비밀값으로 설정할 수 있다. 따라서 Git에 평서문 대신에 공개키로 암호화한 비밀 값으로 정의한 Terraform 파일을 저장하여 관리할 수 있다. 하지만 해당 비밀 값은 State output 같은 곳에 평서문으로 그대로 노출 될 수 있기 때문에, remote state로 관리할 때는 해당 state 파일이 노출되지 않도록 관리를 잘해야 한다. OpenTofu를 이용할 때는 State 파일을 암호화 하는 옵션을 사용하여 State 파일 자체를 암호화해서 관리할 수도 있다.

GCP Secret Manager에서 비밀값을 OpenTofu로 관리하기

GKE에서 add-on 기능으로 관리형 서비스인 Google Secret Manager을 Kubernetes Secrets Store CSI Driver로 쉽게 사용할 수 있다. 하지만 add-on 버전에서는 Sync as Kubernetes Secret 기능을 제공하지 않기 때문에, Kubernetes Secret을 환경변수로 설정하는데 제약사항이 있다. 직접 Kubernetes Secrets Store CSI driver와 GCP provider driver를 설치하여 Sync as Kubernetes Secret 기능을 사용할 수 있다. 이렇게 Sync된 Kubernetes Secret을 환경변수로 주입하도록 설정할 수 있다. Google Secret Manager는 아쉽게도 하나의 Secret에 복수의 key value를 제공하지 않는다. 이번 글에서는 Google Secret Manager를 Kubernetes Secret Object와 Sync해서 사용하는 것이 바람직할지 고민해본다.

secrets-store-csi-driver-provider-gcp 사용해보기

Opentelemetry Instrumentation 라이브러리 중에서 Str(), Empty()로 attribute value를 설정하여 Metric을 보내는 경우가 있었다. 문제는 Thanos Receiver를 통해서 Metric을 저장하려고 할 때, Attribute value 값이 빈문자열이면 에러가 발생하였다. Otel 1.38.0 규격 문서를 확인했을 때 Attribute value는 빈문자열도 의미를 가질 수 있고 정상적으로 저장되어야 하는 것으로 정의되어 있었다. 따라서 Attribute value가 빈문자열이 때도 정상적으로 저장될 수 있도록 Thanos 소스코드를 수정하여 Container Image 빌드하여 사용하였다.

Thanos Receiver의 empty attribute value 문제

구글 켈린더에서 RFC 5545로 정의된 값으로 반복일정을 생성할 수 있다. 그런데 구글 켈린더의 반복 일정을 API로 생성/수정/삭제 하는 과정에서 삽질을 하게 되었다.😂 혹시나 누군가 구글 켈린더 반복일정을 API로 수정/변경/삭제 해야하는 경우, 이 블로그 글을 통해서 불필요하게 삽질을 하지 않기 바라며 작성했다. 반복일정을 수정/삭제 할 때 선택하는 세 가지 옵션(이 일정, 모든 일정, 이 일정 및 향후 일정)에 따라서 이벤트 id를 다르게 설정하여 요청해야 한다.

구글 켈린더 반복 일정을 API 생성/수정/삭제 하는 법

Vault를 구글 인증을 통해서 로그인하도록 설정해본다. Admin Directory API를 통해서 workspace의 user와 group의 정보를 가져올 수 있고, 해당 정보를 통해서 인증 조건을 추가할 수 있다. 예로 특정 workspace group에 속한 계정만 인증에 성공할 수 있도록 조건을 추가할 수 있다. Admin Directory API에 요청하기 위해서 필요한 권한을 설정할 수 있는데, Service Account의 key 파일을 생성하는 대신에, Application Default Credentials를 활용해보았다. Application Default Credentials를 사용하는 과정에서 삽질을 많이 했는데, 혹시나 동일한 작업을 하는 분들은 나처럼 시간을 허비하지 않기를 바라며 글을 작성한다.🥹

구글 계정으로 Vault 로그인하기

컨테이너 이미지에 최소한으로 필요한 software만 포함하는 것이 보안적으로 모범사례이다. 이러한 모범사례를 따르는 가장 쉽고 합리적인 방법은 구글에서 제공하는 Distroless Image를 활용하는 것이다. Distroless Image는 nonroot, debug, debug-nonroot Tag를 가지고 있다. nonroot은 conatiner에게 root 권한을 주지않고, shell도 없어서 Terminal로 접속이 불가능하다. 그런데 Distroless Image에 추가로 필요한 debian package를 설치하면 어떻게 해야할까? 이번 글에서는 bazel로 빌드할 때 원하는 debian package를 추가하는 방법을 알아 본다.

Distroless Image에 Package 추가하기

Vault에서 다양한 credentials를 보관하게 된다. 따라서 어떤 접근들이 있었는지 Audit Log들을 남겨서 관리하고 싶었다. Vault에서 Audit Device 기능을 제공하여서 file, syslog, socket등으로 Vault API 요청과 응답을 로그로 남길 수 있다. socket은 log 손실의 위험이 있고, syslog는 Vault Pod에서 추가적인 package설치와 설정이 필요하다. 따라서 Kubernetes에서 Vault를 운영하는 과정에서 file 방식으로 Audit log를 남겨보았다.

Vault Audit Log를 남기기

ModSecurity는 오픈소스로 제공하는 WAF이다. Nginx connector를 통해서 ModSecurity를 Nginx에 쉽게 연동할 수 있다. Nginx Ingress Controller에서는 해당 설정을 할 수 있도록 Configmap에 설정 옵션들을 제공한다. 해당 옵션들을 설정함으로서 쉽게 Nginx에 WAF를 구현할 수 있다. ModSecurity는 Trustware라는 회사가 관리하다가 2024년 1월에 OWASP foundation으로 넘어가게 되었다. ModSecurity는 오래된 프로젝트이고, Production Ready라고 소개되고 있다. 하지만 ModSecurity가 앞으로도 계속 커뮤니티를 통해서 활발히 관리될지는 지켜봐야겠다.

ModSecurity를 Nginx Ingress Controller에 연동하여 WAF 설정하기

두 권의 책 Wiring the winning organization과 최고의 팀은 무엇이 다른가(The secrets of highly successful groups)을 읽었다. 성공하는 조직은 어떠한 특성을 가지고 있는지 두 권의 책으로 살펴보았다.

성공하는 조직은 어떠한 특성을 가지고 있을까?

소스코드를 변경하지 않고 opentelemetry-operator의 Instrumentation CRD를 통해서 Python Application을 자동으로 Instrumentation을 해봤다. 이 과정에서 OpenTelemetry Logging의 경우에는 기존 Logging Libarary에 Bridge API로 연동하는 구조로 설계된 것을 알게 되었고, Python opentelemetry sdk가 logger에 handler를 추가하는 것을 알게 되었다. 또한 sitecustomize.py을 통해서 Python Application이 실행되기 전에 Instrumentation library를 셋팅하는 것을 이해하게 되었다. Gunicorn으로 Flask를 실행할 때와 Uvicorn으로 FastAPI를 실행할 때, Auto Instrumentation이 잘 되는 것을 확인하였다.

opentelemetry-operator 사용해보기

Google Oauth2를 프로덕션 단계로 사용할 때, Gmail 권한을 사용하려면 CASA(클라우드 어플리케이션 보안 평가)를 수행해야 한다. 관련 문서에서 동적 검사를 할 때,ZAP을 활용하는 방법을 설명하고 있다. 따라서 기본적인 ZAP 사용법을 확인하였다. Docker Container로 Sciprt를 실행하여 API 스캐닝을 해봤고, Automation Framework와 ZAP Desktop Application을 활용하여 React Router에 의해서 이동되는 페이지들을 크롤링하는 것을 테스트해봤다.

ZAP을 사용하여 동적 검사 해보기

나도 어느덧 개발자의 길을 들어선지 8년 정도가 지났다. 나는 어떻게 하면 시니어다운 개발자가 될 수 있을지 계속 질문을 하고 있다. 나는 풍부한 개발 지식과 경험을 통해서 리더쉽을 발휘할 수 있는 시니어가 되고 싶다. 그렇게 되기 위해서 개발자 커리어 동안 항상 배움에 목말라 했고 성장에 집착했었다. 나의 개발자 커리어에서 잠깐동안 5명 정도 되는 팀을 이끄는 팀장 역할을 하기도 했지만, 나머지 기간은 팀원의 역할로 다양한 업무를 맡았다. 이렇게 나는 어떠한 조직을 이끄는 매니저 역할을 고민하기보다는, 팀원으로 회사에 어떻게 기여하고 성과를 낼 수 있는지 고민하는 시간을 주로 가졌다. 따라서 "팀장의 탄생" 책을 읽으면서 과거 나의 팀을 이끌던 팀장분들을 떠올려보았고, 앞으로 내가 팀장 같은 역할을 가지면 기억해야할 점을 남겨보았다.

책 "팀장의 탄생"을 읽고...

Kubernetes Worker Node와 Pod Container에 Terminal shell로 접근하여 명령어를 입력하면 로그를 남기고, 경우에 따라서 알림을 보내고 싶었다. CNCF 졸업한 Project인 Falco를 활용하면 이를 구현할 수 있지 않을까 하여 테스트를 해보게 되었다. Falco는 kernel module이나 eBPF probe등을 통해서 kernel event를 저장하고, 설정된 rule에 따라서 해당 event를 filter하여 원하는 output 형태로 저장한다. Falco는 모든 로그를 저장하기보다는 Rule에 따라 선택적으로 보안 위협이 있는 이벤트를 수집하고 실시간으로 알림하는 것이 목적이다. 따라서 Falco를 통해서 원하던 기능을 구현하는 것은 합리적인 방법이 아닌 것으로 판단 된다.

Falco를 활용하여 Terminal Shell 명령어 로그 수집하기

Ubuntu 20.04 서버의 auth.log, syslog 로그 값들을 OpenTelemetry를 통해서 수집하고 싶었다. 처음에는 Filelog Receiver를 통해서 수집하려고 하였고, rsyslog의 설정값을 변경하여 Filelog로 수집하도록 구성했다. 그런데 이후에 Syslog Receiver가 존재하는 것을 확인하게 되었고, 훨씬 간단하게 syslog를 수집할 수 있었다.

OpenTelmetry로 auth.log와 syslog 수집하기

Spark에서 SparkSession에 hive 설정을 해서 Hive의 데이터를 읽기/쓰기가 가능하다. 하지만 Hive에서 생성한 데이터베이스가 Spark에서는 조회가 되지 않았다. Spark에서 Hive Metastore를 Catalog로 사용할 때, hive-site.xml에 설정된 값을 이해하면 왜 조회가 되지 않는지 이해할 수 있다. hive-site.xml의 metadata.catalog.default 값이 어떻게 영향을 미치지는 살펴봤다.

Spark에서 Hive database가 조회가 안 되는 문제

사이즈가 큰 컨테이너 이미지를 내려받기 위해서 Containerd의 설정값 root을 새로운 스토리지를 추가한 경로로 수정하였다. Kubelet은 imageGCHighThresholdPercent로 설정된 임계치보다 disk 사용량이 많으면, 컨테이너 이미지를 정리하여 disk 공간을 확보하려고 한다. imageGCHighThresholdPercent이 기본값으로 85로 설정되어 있고, disk의 85 퍼센트 이상 사용했을 때 정리 프로세스가 실행된다. 문제는 Containerd root 경로의 volume이 거의 꽉 차더라도, 전체 volume의 사용량은 85 퍼센트가 되지 않을 수 있다는 것이다. Containerd root 경로의 volume에 여유가 없어서 새로 스케쥴된 Pod의 컨테이너 이미지를 내려 받지 못하는 문제가 발생할 수 있다. imageGCHighThresholdPercent 설정값을 조절하여 이 문제를 해결할 수 있다.

Kubelet imageGC

Loki로 Log를 수집하고, Grafana로 Log를 보여줄 때 Grafana user별로 볼 수 있는 Log를 제한하고 싶었다. Grafana Enterpirse의 경우에는 Label-based access control을 제공하여, Loki label별로 Query할 수 있는 권한을 제한할 수 있는 것처럼 보인다. 하지만 아쉽게 오픈소스에서는 해당 기능을 제공하지 않는다. 그래서 Loki multi tenant를 통해서 Log를 tenent별로 그룹핑하고, tenant별로 query하는 방법을 사용했다. 그리고 Loki는 인증 layer가 존재하지 않기 때문에 Nginx를 통해서 인증을 하여 query할 수 있도록 하였다. 마지막으로 Network Policy로 Nginx 인증을 통해서 Loki에 접근하도록 강제하여 원하는 구성을 할 수 있었다.

Loki multi-tenants

내가 일상 생활에서 장애를 직접 경험하지 않기 때문에 장애인이 경험하는 우리의 사회에 대해서 진지하게 고민할 기회가 많지 않았다. 봉사활동과 여러가지 프로젝트 참여를 통해서 장애인에 대한 여러가지 생각을 했지만, 내 삶에서 당장 중요한 문제가 아니다보니 일시적인 생각으로만 끝났다. 이 책을 읽으면서 느낀 점이나 생각들도 반복된 일상속에서 그냥 증발해버릴 것 같다는 생각이 들었다. 하지만 이러한 작은 관심과 생각들이 나의 무의식에 있던 사고들에 변화를 조금씩 가져오고, 그것이 쌓여서 나중에는 내가 무언가 사회에 조금이나마 영향을 미칠 수 있는 역할을 할 수 있지 않을까? 조금은 긍정적인 마음으로 독후감을 작성해보았다.

책 "다른 몸들을 위한 디자인"을 읽고...

Kubernetes에서 k8s-device-plugin을 통해서 NVIDIA GPU 자원을 쉽게 사용할 수 있다. 하나의 어플리케이션에서 GPU 자원을 온전히 사용하지 못하고 낭비될 때, Time slicing, MPS, MIG 등을 사용하여 여러 프로세스가 GPU 자원을 공유하도록 설정할 수 있다. 네이버 공공 클라우드에서 Tesla T4와 Telsa V100을 제공한다. 해당 GPU 아키텍쳐가 MIG을 지원히지 않기 때문에, MPS를 적용하여 GPU 자원을 공유하는 것을 고려하였다. 최근에 release된 k8s-device-plugin v0.15.0-rc.1부터 MPS가 지원되기 시작되어 해당 버전으로 MPS를 설정해보았다.

k8s-device-plugin으로 NVIDIA GPU Multi-Process Service 사용하기

Kubernetes에서 pod가 실행될 때, 해당 process의 open file 갯수 limit이 어떻게 되는지 궁금하였다. Containerd가 systemd service로 동작하는 상황에서 systemd에서 LimitNOFILE이 inifinity로 설정되어 있는 것을 확인하였다. infinity가 Ubuntu systemd 240 버전 이상에서는 process에 최대로 할당할 수 있는 File 갯수인 fs.nr_open 값으로 설정된다. 실제로 test용 pod를 띄어서 containerd에 의해서 실행되는 process의 nofile limit이 LimitNOFILE에 설정된 값으로 동일하게 설정되는 것을 확인하였다.

containerd nofile default 설정값

Kubernetes에서 Tekton Chain을 통해서 어떻게 Software Supply Chain Security를 구성할 수 있는지 확인했다. Tekton Pipeline으로 git clone을 하고, container image를 build하고, 최종적으로 OCI registry에 push하도록 구성했다. 그리고 Tekton Chain이 어떻게 in-toto spec의 Attestation 정보를 남기는지 확인하였다.

Tekton Chain

네이버 클라우드 쿠버네티스 서비스에서 HostPort를 설정하였는데, 정상적으로 Node Port를 통해서 Container에 접근할 수가 없었다. 처음에는 CNI plugin portmap을 설정하여 HostPort를 Iptables Rule로 적용하도록 하였다. 하지만 현재 운영하는 Kernel 버전이 kube proxy를 대체할 수 있는 것을 파악하였고, default로 설정된 KubeProxyReplacement=disabled을 KubeProxyReplacement=strict으로 설정하여 Cilium eBPF로 대체하여 사용하였다.

Cilium CNI와 HostPort

Cert Manager의 DNS provider 목록에 Naver Cloud DNS는 없었다. 하지만 Cert Manager에서 새로운 DNS provider를 직접 연결해서 사용할 수 있도록 webhook solver라는 것을 제공한다. 따라서 Naver Cloud API를 사용하여 webhook 코드를 작성하고, Github Action을 통해서 Image와 Helm chart를 배포해서 사용했다. Cert Manager에서 Boilerplate code와 test framework를 제공하여 비교적 쉽게 작성해서 사용할 수 있었다.

Cert Manager Webhook 작성하여 Naver Cloud에서 DNS-01 challeng로 Lets Encrypt 인증서 발급하기

내가 좋아하는 저자 Adam Grant의 새 책이 나와서 읽게 되었다. 성장 마인드셋을 믿지만, 성장이 정체되고 있다라는 불안감에 있는 나에게 큰 용기를 주는 책이었다. 다시 한번 나의 목표에 도달하기 위해서 내가 할 수 있는 시도들을 생각해보고, 조금씩이라도 어제보다 더 나아지는 오늘에 집중하자고 다짐했다. 지금까지 나의 성장들이 가파르게 우상향 한 것은 아니였다. 때로는 역석장 하는 것 같아서 불안하고 좌절했다. 하지만 전체 과정에서 컴포트 존을 나와 계속 도전을 해온 점과 성장하기 위해서 포기하지 않고 계속 노력해 온 점에 대해서 스스로 칭찬해주었다. 그리고 이 책을 통해서 아들의 성장과정에서 어떠한 것을 중요하게 생각하고 가르쳐줘야할지 고민해볼 수 있었다. 주도적으로 계속해서 배울 수 있는 힘을 배우고, 그 과정에서 재미도 느낄 수 있었으면 좋겠다

Adam Grant의 책 Hidden Potential을 읽고

GPTCache를 사용하여 LLM에 질의를 할 때, 의미적으로 유사한 질문에 대해서는 Cache에 저장된 답변 값을 사용할 수 있도록 구성해보았다. Langchain과 Langserve를 통해서 간단히 Cache를 제공하는 API server를 만들 수 있었다. Default로 설정된 GPTCache에서 의미적으로 충분히 다른 질의에 대해서도 기존 Cache값을 사용하는 False Positive 결과를 받았다. 그래서 Default로 사용된 Similarity Evaluation 방법이 어떻게 동작되는지 살펴보았다. 이해를 바탕으로 Threshold값을 변경하여 발생했던 False Positive case를 제거해보았다. 앞으로 Cache hit rate, Accuracy, Speed를 고려하여 서비스에 적합한 Evaluation 방법을 선택하기 위해서는 Default 말고 다른 옵션들도 확인할 필요가 있겠다.

GPTCache

OpenTelemetry collector를 사용하여 tracing과 logging을 같이 하는 것을 검토하였다. Kubernetes와 멀어져 있던 사이에 OpenTelemetry 커뮤니티가 엄청나게 성장한 것을 깨닫게 되었다. Log에 traceID를 남기고 그걸로 Tracing 정보를 볼 수 있도록 구성했고, Grafana 하나에서 통합적으로 볼 수 있도록 Loki와 Tempo를 Exporter로 사용했다. 아직 Python과 Nodejs에서는 Log쪽의 상태는 Development나 Experimental이기 때문에, receiver에서 filelog를 사용하여 Kubernetes log file을 fluentbit처럼 tail해서 가져오고 traceId를 log에 넣어주는 instrument libary를 사용했다.

OpenTelemetry with Minikube

Vault의 secret engine을 사용하여 네이버 클라우드의 임시 인증키를 발행하고 싶었다. 네이버클라우드는 AWS, Azure처럼 builtin plugin으로 제공하지 않는다. 하지만 custom secret engine을 vault framework SDK를 통해서 쉽게 만들 수 있다. 네이버 클라우드에서 STS API를 제공하기 때문에, custom secret engine을 통해서 임시 인증키를 발행하는 것을 테스트 해보게 되었다. 처음에 구조를 이해하는데 좀 시간이 걸렸지만, Vault Tutorial에서 친절하게 설명하고 있어서 비교적 쉽게 만들 수 있었다.

Vault custom secret engine 작성해보기

GitOps에서 Secret을 어떻게 관리할지 고민을 하였고, 개발자들의 인지부하를 줄이기 위해서 Vault UI로 자신의 앱의 비밀값을 관리하는 것이 제일 효율적이라는 판단을 했다. Vault secrets operator가 GA로 공유가 되었고, Secrets Store CSI나 External secrets 프로젝트보다 깔끔한 방식이라는 생각이 들었다. Vault secrets operator의 CRD로 vault secret과 kubernetes secret의 sync를 맞추고, reloader로 secret이 변경되었을 때 다시 pod를 배포하는 것을 테스트해보았다.

vault secrets operator 사용해보기

AWS Cloudformation에서 Secret Manager의 값을 참조하도록 할 수 있다. AWS SAM을 사용하여 배포된 Lambda의 환경변수가 Secret Manager의 값을 참조하는 경우가 있었다. 그런데 Secret manager의 값을 변경하여 다시 배포하여도 변경된 값이 Lambda 환경변수에 반영이 되지 않았다.🧐 AWS SAM의 리포에 관련된 Issue가 있었고, 제안한 해결방법을 적용하였다. 살짝 삽질을 했기 때문에 기록을 남겨 본다.🤪

AWS SAM으로 배포한 Lambda의 환경변수가 변경된 Secret Manager 값으로 반영이 안되는 문제

Argo CD Notification가 이미 있어서 쉽게 Slack 알림을 연동할 수 있다. 메뉴얼에서 친절하게 셋팅 방법을 설명하고 있지만, 처음 보고 셋팅할 때 놓칠 수 있는 부분을 기록으로 남긴다.

Argo CD Notification으로 간단하게 Slack 알림 보내기

Kubernetes cluster에서 Nginx로 허용 가능한 IP를 설정하고 싶었다. 간단하게 끝날 줄 알았던 작업은 또다른 삽질기가 되었다.😭 Kubernetes에서 SNAT이 되는 과정을 이해하고 externalTrafficPolicy를 Local로 설정했다. 그리고 External Load balancer에서는 client IP를 전달하기 위해서 Proxy Protocol와 같은 것을 설정하고, Nginx에서 그 Proxy protocol로 전달된 IP address로 Access control을 할 수 있도록 설정하였다.

Kubernetes에서 Nginx로 IP allow list 제어

CNAME flattening이 어떻게 작동하고, 왜 사용하게 되었는지 이해하게 되었다.

CNAME flattening

책 "유난한 도전"를 시간 가는 줄 모르고 재미있게 읽었다. 토스의 초기부터 최근까지 겪었던 우여곡절과 그 속에서 만들어낸 성공 스토리들을 읽으면서, 내 가슴에 뭔가 꿈틀꿈틀 거리는 열정과 흥분을 느꼈다. 또 다시 주도적인 변화를 만들어내고 싶다는 열정을 가지게 된 것과 동시에 나는 그러한 치열함과 멋진 커리어를 가지지 못했다는 불안감을 가지게 되었다. 책 "무브업"은 나의 커리어적인 불암감에 위에 양념을 살짝 더 뿌려줬다. 하지만 그래도 이제는 그러한 불안감에 압도당하지 않고, 내가 주어진 하루에서 내가 할 수 있는 최선을 고민하는 할 수 있다.

책 "유난한 도전"과 "무브업"을 읽고나서...

OpenSCAP으로 Ubuntu20.04 이미지를 사용하는 가상서버의 취약점 리포트를 만들어보고, 보고된 취약점이 패치된 커널 버전으로 업그레이드 하여 해당 이슈를 해결해보았다. 이렇게 업그레이드 된 커널과 패키지들이 정상적으로 작동하는지 확인하고 사용할 수 있는 파이프라인을 만드는 것도 나중에 고민해봐야겠다.

CVE 취약점 확인하고 Ubuntu Kernel Update 해보기

Pytorch를 컨테이너로 띄우고 GPU를 사용하고 싶었다. 따라서 Docker container에서 NVIDIA GPU를 사용할 수 있도록 셋팅을 해보았다. 그리고 최종적으로 Kubernetes에서 GPU hardware를 사용할 수 있도록 nvidia device plugin을 DaemonSet으로 띄우고 Pod를 실행해보았다.

Kubernetes에서 GPU 사용하기

aws-ebs-csi-driver 소스코드를 보고 csi driver가 하는 역할을 이해해보았다. 크게 Controller plugin과 Node plugin으로 구성되어 있고, 다양한 sidecar container들이 존재한다. 이 sidecar container들이 Volume을 생성하고, 노드에 부착하고, Host 혹은 container directory에 mount하는 것을 진행한다. 이과정에서 CSI driver로 cloud vendor마다 다른 로직으로 그들의 volume을 제어하게 된다. 네이버 클라우드에서 storage가 처음 생성될 때 서버에 부착이 되어야만 하는 제약사항이 있어서, PVC로 PV 동적 할당을 할 때 volumeBindingMode이 Immediate이면 자동으로 Node에 부착이 된다.

aws-ebs-csi-driver 코드로 csi driver 이해하기

Lets encrypt로 인증서를 발급하여 이것을 Naver Cloud Certificate Manager에 등록하려고 하였다. certbot을 통해서 인증서를 발급받고 해당 파일들을 Certificate manager에 등록하려고 하니 에러가 발생하였다. 이번 블로그 포스팅은 두 가지의 에러를 해결한 삽질기이다.

네이버 클라우드 certificate manager에 Lets encrypt 인증서 등록하기

Kubeadm으로 만든 Kubernetes Cluster에서 AWS ECR를 private container image repository를 사용하고자 하였다. private repository를 접근하기 위해서 Kubernetes 1.26부터 stable feature로 제공하는 kubelet crendential provider를 사용하였다.

ECR Credential-Provider 사용해보기

인터넷에서 S3의 file을 다운로드하면 데이터 전송 비용이 발생한다. 서울 리전 기준으로는 처음 월 10TB까지는 GB당 0.126USD 요금이 발생한다. 이렇게 발생한 금액을 S3 bucket별로 나눠서 볼려면 어떻게 해야 할까? AWS Cost and Usage Report 서비스를 사용하면 세부적인 사용내역을 얻을 수 있고, 그 데이터를 분석하면 bucket별로 인터넷 데이터 전송에 의해 발생한 금액을 산출할 수 있다.

S3에서 Internet으로 데이터 송신한 금액을 bucket별로 확인하기

<콜드 스타트> 책은 네트워크 상품이 어떻게 성장하고, 성장과 함께 어떠한 단계를 경험할 수 있는지 설명한다. 새로운 네트워크 상품은 네트워크를 처음부터 구축해야 되는 콜드 스타트 문제를 가진다. 작지만 밀도가 높은 원자적 네트워크를 구성하여 초기 콜드 스타트 문제를 해결해야 하고, 이것은 초기 생존과 연관된다. 원자적 네트워크를 바탕으로 확장하고 네트워크가 성장하면 네트워크 효과를 가질 수 있다. 동일한 기능을 모방하여 도전하는 경쟁자가 생긴다고 해도 네트워크 효과가 방어막이 될 수 있다.

콜드 스타트 이론

오늘 나를 돌이켜보면서 난해만 문제들을 정의하고 그것들을 해결해나가는 실질적인 경험이 너무 부족하다는 것을 느꼈다. "나는 진짜 어려운 문제를 해결한 적이 없었는데... 이걸 어려운 문제라고 할 수 있을까...?" 이러한 고민에 주저하지 않고 당당히 말할 수 있는 경험들을 앞으로라도 만들어 나가야겠다.

내가 해결한 문제 중 가장 어려운 문제는 무엇이었나?

CRD와 Custom Controller를 사용하는 프로젝트에 대해서 더 알고 싶은 상황에서, External Secrets이라는 프로젝트를 발견하게 되었다. External Secrets는 Vault, AWS secret manager와 같이 secret 관리하는 Tool들과 Kubernetes secret을 CRD을 통해서 sync할 수 있게 해준다. 이 프로젝트는 kubebuilder를 사용하였는데, 소스코드를 보면서 어떻게 구현한 건지 자세히 살펴보았다.

오픈소스 Kubernetes External Secrets 살펴보기

책 "훅(Hooked)"에서 포그 행동모델을 알게 되었다. 이번에는 포그가 쓴 책 "습관의 디테일(Tiny Habits)"을 읽어 보게 되었다. 내가 과거에 습관으로 잘 형성했던 행동들을 행동 모델 7단계 관점에서 생각을 해보았다. 그리고 내가 습관화 하지 못했던 행동들에 대해서도 생각해보면서 다시 한번 어떻게 꾸준히 할 수 있을까 고민해보았다. 알고리즘 꾸준히 공부하기는 내가 습관화 하고 싶었던 것 중에 하나였는데 매번 실패하는 행동이었다. 이번에 행동 모델 7단계에 내용들을 적용하여 다시 시도해본다.

행동 설계 7단계를 내 실생활에 적용해보자

Calico에서 어떻게 CRD를 활용하는지 이해하기 위해서 Calico Opensource 버전의 깃헙 소스코드를 살펴보게 되었다. Calico archiecture에서 kube-controller 부분이 어떤 역할을 하는지 소스 코드를 통해서 이해할 수 있게 되었다. kube-controller들은 kubernetes native resource에 대한 변경을 calico data store와 sync해주는 역할을 하고 있다. 내가 사용하는 Minikbue Kubernetes Cluster에서는 Calico의 data store는 kubernetes로 설정되어 있기 때문에, CRD로 Calico data들이 저장되고 Felix가 이것을 watch하여 변화에 대해서 network rule을 업데이트 하게 된다.

Calico kube-controller 이해하기

나의 집중력을 되찾고 싶은 마음에 책 <초집중>을 읽었다. 그리고 애 책의 저자중 한명이 과거에 쓴 <훅>도 읽게 되었다. <흑>은 2014년에 출간된 책으로 조금 오래된 책이지만, 사업모델이 습관에 의존한다면 이 책이 도움이 될거라는 설명에 읽어보게 되었다. 계기, 행동, 가변적 보상, 투자라는 키워드를 현재 내가 일하고 있는 프로덕트와 내가 한번 쯤 만들어보고 싶은 서비스와 연관지어서 생각해보는 시간을 가졌다. 그 과정에서 떠오른 아이디어도 PM분들과 공유해보았다.

책 두 권 <초집중>, <훅>

어제는 Programming Kubernetes에 나오는 예제를 kubebuilder로 작성해보았다. if(kakao)2022에서 controller를 테스트하는 방법에 대해서 설명한 발표가 있었다. 어제 이해한 내용을 바탕으로 이 발표에서 사용한 BlueGreen controller 예제를 따라서 작성해보았다.

if(kakao)2022 Testing Kubernetes Controller 발표 따라 만들기

Programming Kubernetes 책에서 나온 예제를 따라서 custom controller를 작성해보았다. CustomResourceDefinition를 어떻게 정의하고, kubebuilder로 어떻게 나만의 business logic을 작성할 수 있는지 예제를 통해서 이해했다.

Kubernetes custom controller 작성해보기

오늘 대왕 흑역사를 생산했다. Kubernetes Community Days에서 발표를 하게 되었는데, 30분 발표시간에 맞춰서 발표자료를 잘 준비하지 못해서 부끄러웠다. 30분에 너무 많은 내용을 담을려고 했고, 라이브코딩 형식으로 해서 시간도 많이 걸렸다. 나는 발표를 왜 할까?

흑역사 하나 더 만들기

노코드 개발 생태계가 궁금했는데, 마침 노코드 API 서버를 개발하는 공모전이 있어서 참가했다. SyncTree로 API를 개발하고, Airtable을 데이터베이스로 사용하였다. Front는 Weweb이나 Bubble로 작성하려고 했으나, 유료 plan에서만 deploy가 가능하여 vercel에서 간단하게 react SPA를 배포했다.

노코드 개발 체험해보기

나는 어떻게 대체 되지 않는 개발자가 될 수 있을까? 다양한 책들을 읽으면서 나의 개발자 커리어를 회고해보고 어떻게 앞으로 살아가야할까 고민을 해보았다. 엔지니어링 기술과 인간의 상호작용을 통해서 어려운 문제들을 해결해나갈 수 있는 개발자가 되어야 한다. 어떻게 그렇게 될 수 있을까?

책 읽으면서 생각한 나의 개발자 커리어 개발

최근에 읽은 책들을 바탕으로 장기기억, 경제적 자유, 스토리에 대해서 생각해보았다. "기억의 뇌과학", "세컨드 브레인" 책등을 통해서 다시 한번 나의 학습을 어떻게 장기기억화 할 것인가 고민해보았다. "역행자", "부의 근원", "돈은 너로부터이다" 책등을 통해서는 내가 어떻게 경제적 자유를 이룰 수 있을지 고민했다. 마지막으로 "스토리만이 살길", "프리워커스" 책등을 통해서는 스토리의 힘을 깨달았다.

장기기억, 경제적 자유, 스토리

회사는 성장하고, 그 성장을 바탕으로 충분한 매출과 이익이 발행하고, 회사의 가치가 높아져서 투자자에게도 금전적인 보상을 제공할 수 있는 흐름을 가지고 있다. 나는 다른 방식으로 접근하는 회사를 만들어 보고 싶다. 이미 사회적 기업이나 협동조합 같은 형식으로 존재하고, 이는 위에서 설명한 회사와는 다른 흐름을 가진다. 이와 비슷하게 스타트업이 투자를 받아서 폭발적으로 성장해야 되는 것이 아니라, 사용자가 소수라도 충분히 가치를 제공하고 유지할 수 있는 서비스를 제공하는 회사를 만들고 싶다.

최근 게시물

Strict Transport Security Header

GCP IAM으로 MySQL 접속하기

Google Cloud Exporter가 Log의 Resource Attribute를 Cloud Logging Label로 어떻게 변환할까?

OpenTelemetry GcpDetector를 이해하기

Bitbucket OIDC with GCP