본문 바로가기

소프트웨어-이야기

[Kubernetes] readiness/liveness probe 쿠버네티스는 두가지 유형의 상태 체크 기능을 가지고 있다. Readiness Readiness Probe는 애플리케이션이 트래픽을 받을 준비가 되었다는 것을 쿠버네티스에 알리는 역할을 한다. 쿠버네티스는 트래픽을 받기 전에 Readiness Probe를 통과했는지 확인한다. Readiness Probe에 실패하면, 쿠버네티스는 Readiness Probe을 통과할 때까지 파드로 트래픽 전송을 중단한다. Liveness Liveness Probe는 애플리케이션이 살았는지, 죽었는지 알려주는 역할을 한다. 파드가 살아있으면 쿠버네티스는 별도의 조치를 하지 않는다. 그러나 파드가 죽어있다면, 쿠버네티스는 파드를 제거하고 새로운 파드를 시작한다. 두가지 시나리오를 통해, 두 차이점을 이해해보자. Readines..
Service Aggregator VS BFF 애플리케이션 아키텍처 패턴으로 Service Aggregator와 BFF가 있다. 둘이 비슷한듯 다른데, 그 차이점을 이해해보자. Service Aggregator은 여러 MSA 호출을 조합하는 오케스트레이션 역할을 하는 서버를 말한다. Backend For Front은 UI에 친화적인 응답을 만드는 서버를 말한다. 그래서 Mobile/PC 별로 다른 화면을 위한 BFF도 존재할 수 있다. BFF도 여러 API을 호출한다는 점에서 Service Aggregator와 공통점이 있다. 그러나 사용하는 목적이 다르다는 점에서 차이가 있다는 생각이 든다.
개발자를 위한 최소한의 DNS 지식 (1): 기초편 DNS resolver이란? Dns의 원리를 사용해 IP를 찾아내는 역할을 하는 클라이언트로 볼 수 있다. hosts.conf 파일이란? 특정 도메인에 대한 IP를 찾을 때, 주소 값을 어디에서 찾을지 결정하는 파일이다. resolve.conf 파일이란? OS에서 DNS resolver를 구성할 때 사용하는 파일이다. 사용하고자 하는 네임서버를 기록해둔다. resolv 파일이 다음과 같이 구성되어있다고 상상해보자. $cat /etc/resolv.conf search americano.com cafelatte.com cappuccino.com 여기서 search는 순차적으로 조회해볼 name server를 말한다. name server는 도메인에 맞는 ip 주소를 찾을 때 사용하는 서버를 말한다. reso..
개발자를 위한 최소한의 JVM 메모리 트러블 슈팅 사전 지식 한 눈에 JVM 메모리 구조 살펴보기 인텔리제이로 메모리 디버깅하기 (1) 로컬 서버 애플리케이션 상태를 실시간으로 확인하기 Intellij > Profiler > Cpu and Memory Live Charts 로컬에서 현상을 재현했을 때, 메모리 사용량이 증가하고 있는지 확인할 수 있다. 특정 조건에서 가비지 컬렉션이 어떻게 실행되었는지 확인하고 싶을 때에는, GC를 직접 실행할 수 도 있다. 2. Heapdump 파일 분석하기 Shallow Size: 객체를 저장하는 데에 사용된 메모리 Retianed Size: 이 객체를 유지하는 데에 사용된 메모리 크기이다. 객체를 저장하는 데에 사용된 메모리 + 객체가 사용하고 있는 다른 객체를 저장하는 데에 사용된 메모리의 합으로 보면 된다. 이 크기는, G..
[ChatGPT] Function calling Function Calling이란? Chatgpt Chat Completions API를 사용하면, 질문을 하고 답변을 얻을 수 있다. Function Calling을 사용하면, 질문에 적합한 애플리케이션 함수와 매개변수를 추천받을 수 있다. 즉, 애플리케이션에서 어떤 함수를 호출하는게 좋을지 gpt에게 물어볼 수 있는 기능이라고 볼 수 있다. 예제코드 open ai에서 가져온 파이썬 예제 코드이다. 한줄한줄 읽어보면, 어떤 방식으로 사용하는 건지 쉽게 감이 온다. import openai import json # 항상 같은 날씨를 리턴하는 예시용 더미 함수이다. # 실제 개발환경에서는 상황에 맞는 코드를 구현해야한다. def get_current_weather(location, unit="fahrenh..
Kafka Windowing Windowing이란, 데이터를 집계할 때 시간이 지남에 따라 누적된 값을 그룹화할 때 사용하는 개념이다. 카프카에서 4가지 형태로 윈도우를 구분지을 수 있다. Size and Period Event-Triggered Hopping Session Tumbling Sliding Hopping 참고 https://www.confluent.io/blog/windowing-in-kafka-streams/
Babyagi: AI task Management System babyagi은 ai 기반의 태스크 관리 시스템이다. 이 시스템은 open ai, chroma, weaviate 같은 vector database을 사용하고 있다. 이 시스템은 스스로 태스크를 생성하고, 우선순위를 정하고, 실행한다. 시스템의 기본 아이디어는 이전의 태스크 결과와 미리 정의한 목표를 기반으로 태스크를 생성한다는 것이다. 그리고 OpenAI의 NLP를 사용하여 목표에 따라 새 태스크를 생성하고, vector database에 결과를 저장하고, 검색한다. Babyagi은 Task-driven Autonomous Agent의 축소버전이다. 처리 순서 agent은 다음 태스크를 무한 반복하며, 태스크를 대신 수행한다. 1. 태스크 목록에서 태스크를 가져온다. 2. Execution Agent으로..
Low-code LLM: Visual Programming over LLMs LLM이란? LLM은 Large Language Model의 약어로, 대용량 언어모델을 말한다. LLM은 대규모 데이터셋에서 학습된 인공지능 모델로, 자연어 처리 분야에서 많이 사용된다. LLM은 단어, 문장, 문단, 문서 등의 자연어 데이터를 이해하고 생성할 수 있다. 이는 대용량 데이터셋을 이용해 학습된 모델이기 때문에, 다양한 자연어 처리 작업에서 높은 성능을 보이며, 최근에는 GPT-3 등의 모델이 대표적으로 알려져있다. Low Code이란? Low code이란, 최소한의 코딩 지식으로 애플리케이션을 만들 수 있도록 하는 프로그래밍 방법이다. Low code를 사용하면, 빌딩 블록 방식으로 빠르게 프로그램을 만들 수 있다. 스크래치 같은 UI 기반의 프로그래밍 툴을 떠올려보자. 기존 LLM의 한계..

티스토리툴바