All Posts

소스코드를 변경하지 않고 opentelemetry-operator의 Instrumentation CRD를 통해서 Python Application을 자동으로 Instrumentation을 해봤다. 이 과정에서 OpenTelemetry Logging의 경우에는 기존 Logging Libarary에 Bridge API로 연동하는 구조로 설계된 것을 알게 되었고, Python opentelemetry sdk가 logger에 handler를 추가하는 것을 알게 되었다. 또한 sitecustomize.py을 통해서 Python Application이 실행되기 전에 Instrumentation library를 셋팅하는 것을 이해하게 되었다. Gunicorn으로 Flask를 실행할 때와 Uvicorn으로 FastAPI를 실행할 때, Auto Instrumentation이 잘 되는 것을 확인하였다.

Google Oauth2를 프로덕션 단계로 사용할 때, Gmail 권한을 사용하려면 CASA(클라우드 어플리케이션 보안 평가)를 수행해야 한다. 관련 문서에서 동적 검사를 할 때,ZAP을 활용하는 방법을 설명하고 있다. 따라서 기본적인 ZAP 사용법을 확인하였다. Docker Container로 Sciprt를 실행하여 API 스캐닝을 해봤고, Automation Framework와 ZAP Desktop Application을 활용하여 React Router에 의해서 이동되는 페이지들을 크롤링하는 것을 테스트해봤다.

나도 어느덧 개발자의 길을 들어선지 8년 정도가 지났다. 나는 어떻게 하면 시니어다운 개발자가 될 수 있을지 계속 질문을 하고 있다. 나는 풍부한 개발 지식과 경험을 통해서 리더쉽을 발휘할 수 있는 시니어가 되고 싶다. 그렇게 되기 위해서 개발자 커리어 동안 항상 배움에 목말라 했고 성장에 집착했었다. 나의 개발자 커리어에서 잠깐동안 5명 정도 되는 팀을 이끄는 팀장 역할을 하기도 했지만, 나머지 기간은 팀원의 역할로 다양한 업무를 맡았다. 이렇게 나는 어떠한 조직을 이끄는 매니저 역할을 고민하기보다는, 팀원으로 회사에 어떻게 기여하고 성과를 낼 수 있는지 고민하는 시간을 주로 가졌다. 따라서 "팀장의 탄생" 책을 읽으면서 과거 나의 팀을 이끌던 팀장분들을 떠올려보았고, 앞으로 내가 팀장 같은 역할을 가지면 기억해야할 점을 남겨보았다.

Kubernetes Worker Node와 Pod Container에 Terminal shell로 접근하여 명령어를 입력하면 로그를 남기고, 경우에 따라서 알림을 보내고 싶었다. CNCF 졸업한 Project인 Falco를 활용하면 이를 구현할 수 있지 않을까 하여 테스트를 해보게 되었다. Falco는 kernel module이나 eBPF probe등을 통해서 kernel event를 저장하고, 설정된 rule에 따라서 해당 event를 filter하여 원하는 output 형태로 저장한다. Falco는 모든 로그를 저장하기보다는 Rule에 따라 선택적으로 보안 위협이 있는 이벤트를 수집하고 실시간으로 알림하는 것이 목적이다. 따라서 Falco를 통해서 원하던 기능을 구현하는 것은 합리적인 방법이 아닌 것으로 판단 된다.

Ubuntu 20.04 서버의 auth.log, syslog 로그 값들을 OpenTelemetry를 통해서 수집하고 싶었다. 처음에는 Filelog Receiver를 통해서 수집하려고 하였고, rsyslog의 설정값을 변경하여 Filelog로 수집하도록 구성했다. 그런데 이후에 Syslog Receiver가 존재하는 것을 확인하게 되었고, 훨씬 간단하게 syslog를 수집할 수 있었다.

Spark에서 SparkSession에 hive 설정을 해서 Hive의 데이터를 읽기/쓰기가 가능하다. 하지만 Hive에서 생성한 데이터베이스가 Spark에서는 조회가 되지 않았다. Spark에서 Hive Metastore를 Catalog로 사용할 때, hive-site.xml에 설정된 값을 이해하면 왜 조회가 되지 않는지 이해할 수 있다. hive-site.xml의 metadata.catalog.default 값이 어떻게 영향을 미치지는 살펴봤다.

사이즈가 큰 컨테이너 이미지를 내려받기 위해서 Containerd의 설정값 root을 새로운 스토리지를 추가한 경로로 수정하였다. Kubelet은 imageGCHighThresholdPercent로 설정된 임계치보다 disk 사용량이 많으면, 컨테이너 이미지를 정리하여 disk 공간을 확보하려고 한다. imageGCHighThresholdPercent이 기본값으로 85로 설정되어 있고, disk의 85 퍼센트 이상 사용했을 때 정리 프로세스가 실행된다. 문제는 Containerd root 경로의 volume이 거의 꽉 차더라도, 전체 volume의 사용량은 85 퍼센트가 되지 않을 수 있다는 것이다. Containerd root 경로의 volume에 여유가 없어서 새로 스케쥴된 Pod의 컨테이너 이미지를 내려 받지 못하는 문제가 발생할 수 있다. imageGCHighThresholdPercent 설정값을 조절하여 이 문제를 해결할 수 있다.

Loki로 Log를 수집하고, Grafana로 Log를 보여줄 때 Grafana user별로 볼 수 있는 Log를 제한하고 싶었다. Grafana Enterpirse의 경우에는 Label-based access control을 제공하여, Loki label별로 Query할 수 있는 권한을 제한할 수 있는 것처럼 보인다. 하지만 아쉽게 오픈소스에서는 해당 기능을 제공하지 않는다. 그래서 Loki multi tenant를 통해서 Log를 tenent별로 그룹핑하고, tenant별로 query하는 방법을 사용했다. 그리고 Loki는 인증 layer가 존재하지 않기 때문에 Nginx를 통해서 인증을 하여 query할 수 있도록 하였다. 마지막으로 Network Policy로 Nginx 인증을 통해서 Loki에 접근하도록 강제하여 원하는 구성을 할 수 있었다.

내가 일상 생활에서 장애를 직접 경험하지 않기 때문에 장애인이 경험하는 우리의 사회에 대해서 진지하게 고민할 기회가 많지 않았다. 봉사활동과 여러가지 프로젝트 참여를 통해서 장애인에 대한 여러가지 생각을 했지만, 내 삶에서 당장 중요한 문제가 아니다보니 일시적인 생각으로만 끝났다. 이 책을 읽으면서 느낀 점이나 생각들도 반복된 일상속에서 그냥 증발해버릴 것 같다는 생각이 들었다. 하지만 이러한 작은 관심과 생각들이 나의 무의식에 있던 사고들에 변화를 조금씩 가져오고, 그것이 쌓여서 나중에는 내가 무언가 사회에 조금이나마 영향을 미칠 수 있는 역할을 할 수 있지 않을까? 조금은 긍정적인 마음으로 독후감을 작성해보았다.

Kubernetes에서 k8s-device-plugin을 통해서 NVIDIA GPU 자원을 쉽게 사용할 수 있다. 하나의 어플리케이션에서 GPU 자원을 온전히 사용하지 못하고 낭비될 때, Time slicing, MPS, MIG 등을 사용하여 여러 프로세스가 GPU 자원을 공유하도록 설정할 수 있다. 네이버 공공 클라우드에서 Tesla T4와 Telsa V100을 제공한다. 해당 GPU 아키텍쳐가 MIG을 지원히지 않기 때문에, MPS를 적용하여 GPU 자원을 공유하는 것을 고려하였다. 최근에 release된 k8s-device-plugin v0.15.0-rc.1부터 MPS가 지원되기 시작되어 해당 버전으로 MPS를 설정해보았다.