atom.xml

<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0"
  xmlns:atom="http://www.w3.org/2005/Atom"
  xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>EmjayAhn, DataScienceBook</title>
    <link>https://emjayahn.github.io/</link>
    
    <atom:link href="https://emjayahn.github.io/atom.xml" rel="self" type="application/rss+xml"/>
    
    <description></description>
    <pubDate>Wed, 26 Mar 2025 12:51:48 GMT</pubDate>
    <generator>http://hexo.io/</generator>
    
    <item>
      <title>DeepSeek-V3 Technical Report 정리</title>
      <link>https://emjayahn.github.io/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/</link>
      <guid>https://emjayahn.github.io/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/</guid>
      <pubDate>Mon, 24 Mar 2025 14:58:55 GMT</pubDate>
      
      <description>&lt;p&gt;논문 DeepSeek-V3 Technical Report를 읽고 주요 contribution 내용과 개인적으로 꼭 기억할 내용을 요약하여 정리해본다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>논문 DeepSeek-V3 Technical Report를 읽고 주요 contribution 내용과 개인적으로 꼭 기억할 내용을 요약하여 정리해본다.</p><span id="more"></span><h2 id="1-Introduction"><a href="#1-Introduction" class="headerlink" title="1. Introduction"></a>1. Introduction</h2><ul><li><p>Open Source 모델, DeepSeek 시리즈, LLaMA 시리즈, Qwen 시리즈, Mistral 시리즈 등 오픈소스 모델과 비공개 소스 모델들과의 격차를 줄이기 위해 노력중</p><ul><li>본 논문에서는 오픈소스 모델을 더욱 확장하기 위해 모델 크기 확장 (Scale up)하고 , Mixture-of-Experts를 도입한다.</li><li>Deepseek V3는 총 6710억(671B)개의 파라미터를 가지고 있으며, 그 중 370억(37B) 개가 각 토큰에 대해 활성화 된다.</li></ul></li><li><p>성능 향상도 중요하지만, 모델 성능과 경제적인 비용을 동시에 추구하고 있다.</p><ul><li>이를 위해 아키텍쳐 적으로,</li><li>효율적인 추론을 위해 Multi-head Latent Attention (MLA) 구조를 채택하고</li><li>비용 효율적인 학습을 위해 DeepSeekMoE 구조를 채택하고 있다.</li><li>이 두가지 아키텍처는 이미 DeepSeek V2에서 검증 되었음</li><li>여기에 두 가지 추가 전략을 도입해 V3가 나옴<ul><li>Auxiliary Loss (보조 손실)이 없는 부하 분산 전략 (Auxiliary-loss-free load balancing)을 적용 - 부하 분산을 유도하는 과정에서 발생할 수 있는 모델 성능 저하를 최소화 하는 것을 목표로함<ul><li><strong>(추가설명)</strong> 일반적으로 MoE에서는 모든 Expert들의 작업을 고르게 분배하기 위해 보조 손실을 추가하지만, 이로 인해 성능 저하 현상이 있었다. V3에서는 이러한 보조 손실 없이도 부하 분산을 달성하려는 새로운 전략을 시도하는 것</li></ul></li><li>Multi-token 예측을 학습 목표로 사용 - 여러 벤치마크에서 전반적인 성능 향상 관측<ul><li><strong>(추가설명)</strong> 한 번에 하나의 다음 단어를 예측하는 방식이 아니라, 여러 개의 토큰을 동시에 예측하도록 학습시키는 방식. 이 방법을 통해 더 빠르고 정확한 문장 생성을 가능하게 하며, 결국 전체적인 성능 향상 (벤치마크 비교)에 기여</li></ul></li></ul></li></ul></li><li><p>효율적인 학습을 위해, FP8 mixed precision training을 수행하고, 학습 프레임워크 전반에 걸쳐 최적화를 수행</p><ul><li>low -precision training은 효율적인 학습을 위해 좋은 해결책으로 뜨고 있으며, 이는 하드웨어 성능 향상과 밀접한 관련이 있음</li><li>V3에서는 FP8 mixed precision 학습 프레임워크를 도입하였고, 이를 초거대 모델에 처음으로 적용하여 그 효율성을 입증하였음.</li><li>FP8 연산 및 저장을 지원함으로써, 이는 학습 속도를 향상시키고, 적은양의 GPU 메모리를 사용하여 학습을 시키는데 성공하였음<ul><li><strong>(추가설명)</strong> FP8, FP16, BF16은 부동소수점(Floating Point) 숫자를 표현하는 방식이다. CS 내용이지만, 간단하게 설명하면<ul><li>FP 16<ul><li>FP 16의 구성은 이와 같다. 1비트 부호 + 5비트 지수 + 10비트 가수 &#x3D; 총 16비트 - 가수 (소수 부분을 뜻하는거에요)</li><li>기존의 FP32에 비해 표현할 수 있는 수의 범위가 작다. 수의 범위가 작게 되면, 정밀도(precision)가 낮다고 표현하는데 이는 매우 작은 수나 매우 큰 수를 정확하게 표현할 수 없다는 뜻이다. 이런 것을 underflow (매우 작은수) &#x2F; overflow(매우 큰수)현상이라고 한다.</li></ul></li><li>BF 16 (brain float 16)<ul><li>구성 : 1비트 부호 + 8비트 지수 + 7 비트 가수 &#x3D; 총 16비트</li><li>구글에서 개발했는데, 뉴럴 네트워크 학습 목적으로 만든 새로운 자료형이다. 목적은 지수 비트의 수를 키워서 수의 표현범위가 FP32와 동일하게 만드려고 하는 것이다.</li><li>기존의 FP 16에 비해 같은 비트수를 사용하면서도, 수의 범위는 FP32와 같은 숫자를 표현하기 때문에 더 좋은 표현력을 가지고 있음.</li><li>단점으로는 가수가 적어서 정밀도는 FP16에 비해 낮다고 생각할 수 있지만 실제 사용상에는 큰 문제가 없음</li></ul></li><li>FP 8<ul><li>1비트 부호 + 4비트 지수 + 3비트 가수</li><li>당연히 수의 범위가 작지만 메모리는 적게 차지하는 장점이 있지만, 뉴럴네트워크에서 해당 숫자로 표현하면 너무 잃어버리는 정보가 많이 있음</li><li>그래서 이 논문 V3가 주장하는 것은 FP8로 학습시켜도 충분하게 표현할 수 있는 방법을 제시하는 것임.</li></ul></li></ul></li></ul></li></ul></li><li><p>사전 학습(pre-training) 14.8조(14.8T)개의 고품질, 다양성 있는 토큰들로 학습시켰음</p><ul><li>사전학습 과정은 매우 안정적이었음 : 복구불가능한 loss spike (손실 급증), roll back 할 상황이 없었음</li><li>그 다음엔 V3의 context 길이를 두 단계에 걸쳐 확장하는 작업을 수행했음<ul><li>1단계 : 최대 context 길이를 32000(32K) 토큰까지 확장</li><li>2단계 : 이를 128000토큰(128K)까지 더 확장하였음</li></ul></li><li>이후 V3 base 모델을 기반으로 post-training (후속 학습)을 수행.<ul><li>지도 학습 기반의 미세조정 (Supervised Fine Tuning, SFT)</li><li>강화 학습 (Reinforcement Learning, RL)</li><li>distiliation</li></ul></li><li>이 Post-training은 모델을 인간의 선호 (human preferences)에 더 잘 맞추고, 모델의 잠재력을 더욱 끌어내기 위함</li><li>후속 학습 단계에서는 DeepSeek R1 시리즈 모델로부터 추론 능력 (reasoning capability)을 distillation하였고, 동시에 모델의 정확도와 생성되는 응답 길이 사이의 균형을 유지할 수 있게하였다. </li><li><strong>(추가설명)</strong> context length extension 이란 context 길이는 모델이 한 번에 처리할 수 있는 텍스트 길이를 의미. 예를 들어 GPT 2,3는 2000~4000 token 길이이고, GPT-4 Turbo는 128000(128K). (확인필요) V3에서 128K까지 확장했다는 것은 매우 긴 문서를 한 번에 처리할 수 있다는 뜻</li><li><strong>(추가설명)</strong> Post-training SFT란 정답이 있는 데이터를 기반으로 정확한 응답을 생성하도록 미세 조정 학습. 보통 RL 이라고 하면, RLHF 를 의미했는데 여기서는 다른 의미일 수도 있음 (더 읽어봐야함)</li><li><strong>(추가설명)</strong> Distillation 큰 모델을 선생님으로 두고 선생님의 답을 따라하도록 작은 모델이 학습하는 방법</li></ul></li><li><p>V3 base 모델은 오픈소스 모델 중 벤치마크 성능이 가장 뛰어났으며, 코드와 수학 분야에서 특히 좋은 성능을 보였음</p><ul><li>V3 chat 버전 역시 다른 오픈소스 모델보다 뛰어난 성능을 보임</li><li>GPT-4o, Claude 3.5 Sonnet과 견줄 수 있는 성능, open-ended 벤치마크에서 비슷한 성능</li></ul></li><li><p>Deepseek V3는 학습 비용면에서 경제적임을 강조.</p><ul><li>사전학습 (pre-training) 단계에서, V3를 1조 (1T) 토큰을 학습시키는 데 18만(180K) 시간의 H800 GPU 시간이 필요했음</li><li>이는 2048개의 H800 GPU 클러스터 기준 3.7일 만임</li><li>결과적으로 전체 사전 학습은 두 달도 안걸리게 완료되었으며, 총 266만 4천 (2.664M) GPU 시간이 소요</li></ul></li><li><p>context length extension에는 11만 9천 (119K) GPU 시간,</p></li><li><p>post-training에는 5천(5K) GPU 시간이 걸림</p></li><li><p>최종적으로 V3를 학습에 소요된 총 시간은 278만 8천 (2.788M) GPU 시간</p></li><li><p>H800 GPU 임대 비용이 시간당 $2로 가정하면, 전체 학습 비용은 약 557만 6천 달러 ($5.576M)</p><ul><li>이 비용은 V3 학습만 포함된 것이며, 아키텍처, 알고리즘, 데이터에 대한 연구, 실험에 드는 비용은 포함되지 않음</li></ul></li><li><p>이후 다룰 내용</p></li></ul><ol><li>먼저, DeepSeek-V3 모델 아키텍처에 대한 상세한 설명을 제시합니다 (2장).</li><li>이어서, 우리의 인프라 구조를 소개합니다. 이에는 컴퓨팅 클러스터, 학습 프레임워크, FP8 학습 지원, 추론 배포 전략, 그리고 미래 하드웨어 설계에 대한 제안이 포함됩니다.</li><li>다음으로, 우리의 사전 학습 과정을 설명합니다.<br>여기에는 학습 데이터 구성, 하이퍼파라미터 설정, 긴 문맥 처리 기법(long-context extension techniques), 관련 평가 및 논의가 포함됩니다 (4장).</li><li>그 다음으로는, 후속 학습(post-training)에 관한 설명이 이어집니다.<br>지도 미세조정(SFT), 강화 학습(RL), 그에 따른 평가 및 논의가 포함됩니다 (5장).</li><li>마지막으로, 우리는 본 연구를 정리(conclude)하고,<br>DeepSeek-V3의 현재 한계점에 대해 논의하며, 향후 연구를 위한 방향을 제안합니다 (6장).</li></ol><h2 id="2-Architecture"><a href="#2-Architecture" class="headerlink" title="2. Architecture"></a>2. Architecture</h2><ul><li>DeepSeek-V3 기본 아키텍처 소개<ul><li>효율적인 Inference를 위한 Multi-head Latent Attention (MLA)</li><li>경제적인 Training을 위한 DeepSeekMoE</li><li>학습 목표(objective) : Multi-Token Prediction - 이거 해봤더니 모델 성능이 향상되더라</li><li>그 외의 설정과 구조는 V2를 따름</li></ul></li></ul><h3 id="2-1-Basic-Architecture"><a href="#2-1-Basic-Architecture" class="headerlink" title="2.1 Basic Architecture"></a>2.1 Basic Architecture</h3><ul><li>V3 기본 unit은 여전히 Transformer 구조를 쌓아 올린 것</li><li>다시 한번 정리하지만, MLA와 DeepSeekMoE는 V2에서 검증이 되었음, V2와 비교했을 때 한 가지 예외적인 차이점은 DeepSeekMoE에서 auxiliary-loss-free (보조 손실이 없는) 부하 분산 전략을 새롭게 도입하여, load balance를 맞추는 과정에서 발생할 수 있는 성능 저하를 완화하고자 하였음<br><img src="/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/V3_1.png"></li></ul><h4 id="2-1-1-Multi-Head-Latent-Attention"><a href="#2-1-1-Multi-Head-Latent-Attention" class="headerlink" title="2.1.1 Multi-Head Latent Attention"></a>2.1.1 Multi-Head Latent Attention</h4><p>DeepSeek-V3는 attention 구조로 MLA(Multi-head Latent Attention) 아키텍처를 채택합니다.<br>• $d$는 임베딩 차원(embedding dimension),<br>• $n_h$는 attention head의 개수,<br>• $d_h$는 각 head당 차원,<br>• $h_t \in \mathbb{R}^d$는 해당 attention layer에서 t번째 토큰의 입력 벡터를 나타냅니다.</p><p>MLA의 핵심은 attention key와 value를 위한 저차원(low-rank) joint compression, 추론 시 Key-Value(KV) 캐시 사용량을 줄이는 데 목적이 있습니다<br>$$ \begin{aligned} c_{t}^{kv} &#x3D; W^{DKV}h_{t} \ [k_{t,1}^{c};k_{t,2}^{c};…;k_{t,n_{h}}^{c}]&#x3D;k_{t}^{c}&#x3D;W^{UK}c_{t}^{KV}, \ k_{t}^{R} &#x3D; RoPE(W^{KR}h_{t}), \ k_{t,i} &#x3D; [k_{t,i}^{C};k_{t}^{R}], \ [v_{t,1}^{C}; v_{t,2}^{C};…;v_{t, n_{h}}^{C}] &#x3D; v_{t}^{C} &#x3D; W^{UV}c_{t}^{KV}  \end{aligned} $$<br>• 여기서 $c_t^{KV} \in \mathbb{R}^{d_c}$는 key와 value의 압축된 잠재 벡터(latent vector)입니다.<br>$d_c$는 KV 압축 차원이며, $d_h \cdot n_h$보다 훨씬 작습니다 ($d_c \ll d_h n_h$).<br>• $W^{DKV} \in \mathbb{R}^{d_c \times d}$는 입력 벡터 $h_t$를 저차원으로 압축하는 다운 프로젝션 행렬입니다.<br>• $W^{UK}, W^{UV} \in \mathbb{R}^{d_h n_h \times d_c}$는 각각 압축된 벡터를 다시 키와 밸류로 복원하는 업 프로젝션 행렬입니다.<br>• $W^{KR} \in \mathbb{R}^{d_h^R \times d}$는 RoPE용 decoupled key를 생성하는 데 사용되는 행렬입니다.<br>• $\text{RoPE}(\cdot)$는 Rotary Positional Embedding을 적용하는 연산입니다.<br>• $[\cdot ; \cdot]$은 벡터 합치는 것(concatenation)을 의미합니다.</p><p>  중요한 점: MLA에서는 파란색 박스로 강조된 벡터($c_t^{KV}$와 $k_t^R$)만을 생성 중에 캐시(cache)하면 되므로, 기존 MHA보다 캐시 메모리를 획기적으로 절감하면서도 유사한 성능을 유지할 수 있습니다.</p><p>MLA구조에서 Query에 적용되는 저차원 압축 (low-rank) compression 방식과 그 수식을 설명하는 부분이다. Attention Query에 대해서도 V3에서는 low-rank compression을 수행하며 이는 학습 중 활성화되는 메모리 (activation memeory)를 줄일 수 있다.</p><p>$$\begin{aligned} c_{t}^{Q} &#x3D; W^{DQ}h_{t} \ [q_{t, 1}^{C};q_{t,2}^{C};…;q_{t,n_{h}}^{R}]  &#x3D; q_{t}^{C}&#x3D;W^{UQ}c_{t}^{Q},\ [q_{t, 1}^{R}; q_{t, 2}^{R};…; q_{t, n_{h}}^{R}] &#x3D; q_{t}^{R}&#x3D;RoPE(W^{QR}c_{t}^{Q}), \ q_{t,i}&#x3D;[q_{t,i}^{C}; q_{t,i}^{R}] \end{aligned}$$<br>• 여기서 $c_t^Q \in \mathbb{R}^{d_c{\prime}}$는 Query를 위한 압축된 잠재 벡터(latent vector)입니다.<br>• $d_c{\prime} \ll d_h \cdot n_h$는 Query 압축 차원을 나타내며, 전체 Query 차원보다 훨씬 작습니다.<br>• $W^{DQ} \in \mathbb{R}^{d_c{\prime} \times d}, W^{UQ} \in \mathbb{R}^{d_h n_h \times d_c{\prime}}$는 각각 Query용 다운 프로젝션 및 업 프로젝션 행렬입니다.<br>• $W^{QR} \in \mathbb{R}^{d_h^R n_h \times d_c{\prime}}$는 RoPE를 적용할 decoupled Query를 생성하는 행렬입니다.</p><p><strong>(추가설명)</strong> </p><ul><li>1단계 : 압축 (down-projection)<ul><li>$c_t^Q &#x3D; W^{DQ} h_t$</li><li>입력 벡터 $h_t \in \mathbb{R}^d$를 Query 전용의 저차원 공간 $d_c{\prime}$로 압축합니다.</li><li>목적: 메모리 절약 및 연산 효율 향상</li></ul></li><li>2단계 : Query 벡터 생성<ul><li>$q_t^C &#x3D; W^{UQ} c_t^Q$</li><li>압축된 latent vector $c_t^Q$를 통해 Query vector를 복원(업 프로젝션)합니다.</li><li>생성된 $q_t^C \in \mathbb{R}^{d_h \cdot n_h}$는 head별 Query 컴포넌트로 나뉩니다</li><li>$q_t^C &#x3D; [q_{t,1}^C; q_{t,2}^C; \ldots; q_{t,n_h}^C]$</li></ul></li><li>3단계 : RoPE를 적용을 위한 Query 생성<ul><li>$q_t^R &#x3D; \text{RoPE}(W^{QR} c_t^Q)$</li><li>위치 정보를 부여하기 위해, 같은 $c_t^Q$에 별도 행렬 $W^{QR}$을 적용하고,</li><li>결과에 RoPE(Rotary Positional Embedding)을 적용하여 위치 정보를 포함한 Query $q_t^R$ 생성</li><li>마찬가지로 head별로 나눌 수 있음:</li><li>$q_t^R &#x3D; [q_{t,1}^R; q_{t,2}^R; \ldots; q_{t,n_h}^R]$</li></ul></li><li>4단계 : 최종 Query 구성<ul><li>$q_{t,i} &#x3D; [q_{t,i}^C; q_{t,i}^R]$</li><li>각 head의 최종 Query는 내용 기반 컴포넌트 $q_{t,i}^C$와</li><li>위치 정보 컴포넌트 $q_{t,i}^R$를 결합(concatenation)한 벡터입니다.</li></ul></li><li>정리하면, 기존 Transformer은 $h_{t}$로 부터 Query, key, value를 직접 만들지만</li><li>MLA에서는 이를 압축하고 복원함으로써 1. 학습 중 메모리 사용량을 줄이고, 2. 효율적 계산 구조를 유지한다. 특히 Query까지 압축하는 것은 Training에 중점을 둔 최적화 과정이고, Key, Value 캐싱은 Inference 효율성 향상에 중점이 있다.<br><strong>(추가설명)</strong></li><li>RoPE란?<ul><li>2023년 Zhipu AI에서 발표한 논문으로 ROPEformer: Enhanced Transformer with Rotary Position Embedding 이라는 논문에서 처음 등장</li><li>transoformer에서 positional embedding 방법 중 하나면서, 사실상 표준이 된 방식</li><li>original transformer에서는 absolute positional embedding (위치 벡터 자체)를 더하는 방식이었는데 이 보다 연산적으로 유리한 측면이 있으며 위치를 표현하는데 좀더 정교하다는 장점이 있음</li><li>가장 핵심은 벡터의 각 차원에 위치 정보인 회전행렬 (rotation matrix)로 주입하는 것이다. </li><li>다시 쉽게 말하면, 위치에 따라 임베딩 벡터를 살짝씩 회전시켜서 상대적인 거리 정보를 간접적으로 표현할 수 있도록 하는 것이다.</li><li>$$\begin{aligned} x_{t,2i}^{\text{RoPE}} &amp;&#x3D; x_{2i} \cos(\theta_i t) - x_{2i+1} \sin(\theta_i t) \ x_{t,2i+1}^{\text{RoPE}} &amp;&#x3D; x_{2i} \sin(\theta_i t) + x_{2i+1} \cos(\theta_i t) \end{aligned}$$</li><li>더 자세한 내용은 <a href="https://medium.com/@hugmanskj/mastering-llama-rotary-positional-embedding-rope-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0-9b1963a22852">여기</a> 참조</li></ul></li></ul><h4 id="2-1-2-DeepSeekMoE-with-Auxiliary-Loss-Free-Load-Balancing"><a href="#2-1-2-DeepSeekMoE-with-Auxiliary-Loss-Free-Load-Balancing" class="headerlink" title="2.1.2. DeepSeekMoE with Auxiliary-Loss-Free Load Balancing"></a>2.1.2. DeepSeekMoE with Auxiliary-Loss-Free Load Balancing</h4><h5 id="DeepSeekMoE의-기본-아키텍처"><a href="#DeepSeekMoE의-기본-아키텍처" class="headerlink" title="DeepSeekMoE의 기본 아키텍처"></a>DeepSeekMoE의 기본 아키텍처</h5><p>V3는 FFN(Feed-Forward-Networks)에 대해 DeepSeekMoE 아키텍처를 채택하였다. 기존의 MoE 구조인 GShard와 비교했을 때 DeepSeekMoE는 세분화된 전문가(finer-grained experts)를 사용하고 일부 전문가들은 공유 전문가(shared experts)로 독립적으로 구분하여 사용한다.</p><p>토큰 $t$에 대한 FFN 입력을 $u_{t}$ (입력 임베딩)라 할 때, FFN의 출력 $h_{t}^{‘}$는 다음과 같이 계산된다.</p><p>$$h^{‘}<em>{t} &#x3D; u</em>{t} + \Sigma_{i&#x3D;1}^{N_{s}}FFN_{i}^{(s)}(u_{t}) +<br>\Sigma_{i&#x3D;1}^{N_{r}}g_{i, t}FFN_{i}^{(r)}(u_{t})$$</p><ul><li>$h_{t}^{‘}$ : 최종 FFN 출력</li><li>$u_{t}$ : 입력 임베딩</li><li>$FFN_{i}^{(s)}$ : 공유 전문가 (shared expert)</li><li>$FFN_{i}^{r}$ : routed 전문가</li><li>$g_{i, t}$ : routed 전문가 $i$의 게이팅 값 (gating value) - weight 이라고 생각</li><li><strong>(추가 수식 설명)</strong> 원래 입력 + 모든 공유 전문가의 출력 + 라우팅 된 전문가의 출력의 가중합<br>$$g_{i, t} &#x3D; \frac{g_{i, t}^{‘}}{\Sigma_{j&#x3D;1}^{N_{r}}g_{j, t}^{‘}}$$</li><li><strong>(추가 수식 설명)</strong> 임시 게이팅 점수 &#x2F; 정규화된 최종 게이팅 값</li></ul><p>$$g_{i, t}^{‘} &#x3D; s_{i, t}, \quad s_{i, t} \in Topk({s_{j, t}|1 \leq N_{r}, K_{r}}), \quad 0 \quad otherwise$$</p><ul><li>$s_{i,t}$​: 토큰 $t$와 전문가 $i$의 친화도(affinity score)</li><li>$Topk(⋅,K_{r}​)$: 가장 상위 $K_r$​개의 전문가만 선택</li><li><strong>(추가 수식 설명)</strong> 즉 상위 $K_r$개의 expert만 선택해 $g_{i, t}^{‘}&#x3D;s_{i,t}$ 이고 나머지는 0</li></ul><p>$s_{i, t} &#x3D; Sigmoid(u_{t}^{T}e_{i})$</p><ul><li>$e_{i}$ : 라우팅 expert $i$의 중심 벡터 (centroid vector)</li><li>$u_{t}^{T}e_{i}$ : 토큰과 expert 간의 내적 (&#x3D;유사도)</li><li>Sigmoid는 결과를 0 ~ 1 범위로 조절</li><li><strong>(추가 수식 설명)</strong> Affinity score s는 입력 벡터와 expert vector 간의 유사도를 sigmoid로 변환한 값</li></ul><p>여기서,</p><ul><li>$N_{s}$와 $N_{r}$은 각각 공유 전문가와 라우팅 전문가의 갯수를 나타낸다.</li><li>$FFN_{i}^{(s)}(\cdot)$ 와 $FFN_{i}^{(r)}(\cdot)$ 은 i 번째 공유전문가와 i 번째 라우팅 전문가</li><li>$K_{r}$은 활성화되는 라우팅 전문가의 수를 의미</li><li>$Topk(\cdot, K)$는 토큰 $t$에 대해 계산된 모든 친화도 중에서 상위 $K$개의 점수로 이루어진 집합을 의미</li></ul><h5 id="Auxiliary-Loss-Free-Load-Balancing"><a href="#Auxiliary-Loss-Free-Load-Balancing" class="headerlink" title="Auxiliary-Loss-Free Load Balancing"></a>Auxiliary-Loss-Free Load Balancing</h5><ul><li>MoE 모델에서 Expert 부하 balancing이 불균형해지면, routing collapse (라우팅 붕괴)가 발생하여 expert가 병렬 처리 할 때 계산 효율성이 저하되게 된다.</li><li>기존의 해결책으로는 auxiliary loss (보조 손실)에 의존하여 이러한 불균형을 방지하였었다. 그러나 보조 손실이 너무 커지면 모델의 본래 성능을 저해할 수 있다. V3에서는 성능과 부하 balancing사이에 더 나은 대안을 위해 보조 손실 없는 부하 분산 전략을 새롭게 제안한다. 구체적으로 각 expert 마다 bias (편향) 항 $b_{i}$를 도입하여, 이 $b_{i}$를 각 전문가의 친화도 점수 $s_{i, t}$에 더한 뒤 상위 Top-K 라우팅을 결정한다.</li><li>$$g_{i, t}^{‘} &#x3D; s_{i, t}, \quad s_{i, t}+b_{i} \in Topk({s_{j, t}+b_{j}|1 \leq j \leq N_{r}}, K_{r}), \quad 0 \quad otherwise$$</li><li>$s_{i,t}$: 토큰 $t$과 expert $i$의 affinity score (기존과 동일)</li><li>$b_{i}$ : expert $i$에 대한 bias term (편향값) : 이 값은 학습 과정에서 동적으로 업데이트 됨</li><li>$g_{i, t}^{‘}$ : 임시 게이팅 점수 (Top-K) 선택시 사용<br>→ 즉, 편항이 적용된 친화도 $s_{i,t} + b_{i}$를 기준으로 Top-K expert를 선택하되, 선택된 이후 실제 게이팅 값은 원래의 $s_{i,t}$를 사용.결국 $b_{i}$는 routing 용도에만 결정을 미치고 실제 weighted sum에서는 사용되지 않음</li></ul><p><strong>(추가 설명)</strong> bias (편향) term $b_{i}$의 업데이트 방식</p><ul><li>각 훈련 스텝마다 전체 배치에서 expert 부하를 모니터링함</li><li>특정 expert가 과부하 (overloaded) 상태라면 → $b_{i}$를 감소</li><li>특정 expert가 과소활용 (underloaded) 상태라면 → $b_{i}$를 증가</li><li>즉 이를 수식으로 표현하면,<ul><li>$$\begin{aligned} b_{i} ← b_{i} - γ, if \quad overloaded\ b_{i} ← b_{i} + γ, if \quad underload \end{aligned}$$</li></ul></li><li>γ : bias update speed 라는 하이퍼파라미터이다.</li></ul><h4 id="Complementary-Sequence-Wise-Auxiliary-Loss"><a href="#Complementary-Sequence-Wise-Auxiliary-Loss" class="headerlink" title="Complementary Sequence-Wise Auxiliary Loss"></a>Complementary Sequence-Wise Auxiliary Loss</h4><ul><li>시퀀스 단위의 보조손실</li><li>이 손실 항은 모델이 전체적으로 auxiliary-loss-free 전략을 따르되 개별 시퀀스 내에서 부하가 쏠리는 현상을 방지하고 보완하기 위해 도입된 손실.</li><li>V3는 expert load balancing을 위해 보조 손실 없는 전략 (auxiliary-loss-free-strategy)에 의존하지만 개별 시퀀스 내에서 발생할 수 있는 극단적인 불균형을 방지하기 위해 보완적으로 시퀀스 단위의 부하 균형 손실(sequence-wise balance loss)도 함께 사용한다.</li><li><img src="/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/V3_2.png"></li><li>수식 (17) : Sequence 단위 부하 손실 정의<ul><li>$L_{Bal}$ : sequence-wise balance loss 부하 균형 손실</li><li>$\alpha$ : 손실 항의 가중치를 조절하는 매우 작은 상수</li><li>$f_{c}$ : expert i의 선택 비율</li><li>$P_{i}$: Expert i의 상대적인 중요도</li><li><strong>(추가 설명)</strong> 여기서 손실 항을 보면 많이 선택되었고 중요한 역할을 하는 Expert에게 더 큰 패널티를 부과하여 많이 사용되는, 즉 Overuse를 억제하는 것이다. → 결국 balancing 에 가깝게 되는 것</li></ul></li><li>수식 (18)<ul><li>Expert가 선택되는 비율, 확률 $f_{i}$</li><li>$f_{i}$ : Expert i가 Top-K 라우팅에 의해 선택되는 비율</li><li>$N_{r}$ : 라우팅 가능한 전체 Expert 수</li><li>$K_{r}$ : 한 토큰당 선택되는 Expert 수</li><li>$T$ : 시퀀스 길이 (토큰 수)</li><li><strong>(추가 설명)</strong> 정규화된 형태로 expert i가 얼마나 자주 선택되었는지를 의미</li></ul></li><li>수식 (19)<ul><li>정규화된 affinity score </li><li>$s_{i, t}$ : 토큰 t에 대한 expert i의 affinity score</li><li>$s_{i, t}^{‘}$ : 전체 Expert 중에서 상대적인 비중</li><li><strong>(추가설명)</strong> 이 값은 Expert i가 한 토큰에서 얼마나 중요한 역할을 했는지 나타내는 값</li></ul></li><li>수식 (20)<ul><li>평균 중요도 (?)</li><li>Expert i가 시퀀스 전체에 걸쳐 얼마나 중요한 기여를 했는지의 평균</li><li>$P_{i}$가 클수록 해당 Expert가 중요한 판단에 자주 참여했다는 뜻<br><strong>(추가설명)</strong> V3는 전체적으로 보조 손실 없이 부하 균형을 달성하지만, 시퀀스 하나에서라도 모든 토큰이 특정 전문가만 계속 쓰게되면 훈련이 왜곡될 수 있다. → 이를 막기 위해 정밀하게 조정된 보조 손실 항을 추가하여 극단적인 편향만 제거하는 효과를 준다.</li></ul></li></ul><h4 id="Node-Limited-Routing"><a href="#Node-Limited-Routing" class="headerlink" title="Node-Limited Routing"></a>Node-Limited Routing</h4><p>V2에서 사용된 device-limited routing 방식과 유사하게 V3 역시 학습 중 통신 비용을 제한하기 위해 제약된 routing 메커니즘을 사용한다. 즉 각 토큰이 최대 M개의 노드로만 라우팅 되도록 하는 것이다. 여기서 이 노드들은 각 노드에 분산된 expert 중 가장 높은 $\frac{K_{r}}{M}$ 개의 affinity score의 합을 기준으로 선택된다. 이러한 제약조건 하에서 DeepSeekMoE 학습 프레임워크는 연산과 통신을 거의 겹쳐서 (computation-communication overlap) 수행할 수 있다.<br><strong>(추가설명)</strong> MoE는 여러 Expert 블록 (FFN block)을 서로 다른 노드 (GPU서버 등)에 분산시켜두고, 각 토큰마다 적절한 expert로 routing 하는 방식이다. 그런데, 토큰마다 여러 노드로 routing 되면 → GPU간 통신 비용 (전송량, 대기 시간 등)이 증가하게 되고, 이는 대규모의 분산 학습에서 병목이 될 수 있다. 이에 대한 해결 책으로 Node-Limited Routing 이 수행되는 것이다. 다시 정리하면 각 토큰은 최대 $M$개의 노드로만 라우팅되도록 제한된다. 노드 선택 기준은 다음과 같다.</p><ul><li>각 노드는 여러 Expert를 포함하고 있음</li><li>각 토큰은 해당 노드에 있는 Expert들과의 affinity score를 계산</li><li>그 중 상위 $\frac{K_{r}}{M}$개의 affinity를 선택해 합산</li><li>이 합산 점수가 높은 상위 $M$개 노드를 선택<br>즉 토큰 당 전체 Expert를 고려하지 않고 이 노드에 있는 전문가들 중에서 점수 합이 높은 곳으로만 보내자는 방식이다.</li></ul><h4 id="No-Token-Dropping"><a href="#No-Token-Dropping" class="headerlink" title="No Token-Dropping"></a>No Token-Dropping</h4><ul><li>효과적인 부하 분산 전략 덕분에 V3는 전체 학습 과정에서 load balancing 면에서 아주 양호한 상태를 유지할 수 있었다. 따라서 학습 중 어떤 토큰도 drop하지 않았다. 또한 추론시 부하 균형을 보장하기 위한 특정 배포 전략도 함꼐 구현했기 때문에 추론과정에서도 token drop이 발생하지 않았다<br><strong>(추가설명)</strong> Token Dropping이란, MoE 구조에서는 특정 조건에서 일부 토큰의 처리를 생략하는 경우 (Drop)가 있다. 이는 여러가지 상황에서 발생하게 되는데 대표적으로는 1. Expert 부하 불균형이 발생하여 GPU 자원이 부족해지거나 2. Routing을 실패하거나 시간과 메모리 최적화를 위해 희생하는 선택</li></ul><h3 id="2-2-Multi-Token-Prediction"><a href="#2-2-Multi-Token-Prediction" class="headerlink" title="2.2 Multi-Token Prediction"></a>2.2 Multi-Token Prediction</h3><ul><li>한 번에 여러 개의 토큰을 예측하도록 학습하는 방식</li><li>V3에서는 MTP (Multi-Token-Prediction)을 설정하고 연구하였음</li><li>각 위치에서 한 개 이상의 토큰을 예측하는 방식으로 예측범위를 확장<ul><li>MTP의 효과<ul><li>MTP는 학습 시그널을 더 dense하게 만들고 이를 통해 →데이터 효율성을 향상시킬 수 있음</li><li>MTP를 적용하면, 모델이 토큰 예측을 위해 미리 표현을 계획 (pre-plan)하도록 유도하는 효과가 있음<br><img src="/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/V3_3.png"></li></ul></li></ul></li><li>V3 MTP 그림을 보면, <ul><li>이전 방식(Gloeckle)들은  독립적인 출력 헤드 (output heads)를 이용하여 $D$ 개의 추가 토큰을 병렬적으로 예측</li><li>V3는 추가 토큰들을 순차적으로 (sequentially) 예측하며</li><li>각 prediction depth 에서 causal chain을 유지한다.</li></ul></li></ul><h4 id="MTP-Modules"><a href="#MTP-Modules" class="headerlink" title="MTP Modules"></a>MTP Modules</h4><ul><li>MTP는 $D$개의 순차적인 모듈을 사용하여 $D$개의 추가적인 토큰을 예측한다.</li><li>k번째 MTP 모듈은 다음 구성요소로 이루어져있다.<ul><li>공유 임베딩 계층 $Emb(\cdot)$</li><li>공유 출력 헤드 $OutHead(\cdot)$</li><li>트랜스포머 블록 $TRM_{k}(\cdot)$</li><li>Projection Matrix $M_{k} \in R^{d \times 2d}$</li></ul></li><li>토큰 $t_{i}$에 대해 예측 depth k 에서 다음 두 벡터를 결합한다.<ul><li>$h_{i}^{k-1} \in R^{d}$ : (k-1)번째 깊이에서의 토큰 i의 표현벡터</li><li>$Emb(t_{i+k}) \in R^{d}$ : i+k번째 미래 토큰의 임베딩</li></ul></li><li>식 (21)<ul><li>RMSNorm : 입력 벡터를 정규화 (LayerNorm을 대체하는 것)</li><li><strong>(추가설명)</strong> k&#x3D;1일 때는 h가 메인 모델의 출력임</li></ul></li><li>식 (22)<ul><li>전체 토큰 시퀀스 $1~T-k$에 대해 투영된 벡터 $h’^{k}$ 를 트랜스포머 블록에 통과시켜 prediction depth k에서의 최종표현 h를 얻는 것</li></ul></li><li>식 (23)<br><strong>(추가설명)</strong> 결국 MTP 구조를 요약하면</li></ul><ol><li>입력 : 메인 모델에서 나온 표현 $h_{i}^{0}$</li><li>concat : 해당 위치에서의 표현 + (i+k)번 째 미래 토큰 임베딩을 concatente</li><li>정규화 + projection : RMSNorm + linear projection → $h_{i}^{‘k}$</li><li>트랜스포머 통과 → $h^{k}$</li><li>다시 반복 $h^{k}$ 가 k+1번째 모듈의 입력이 됨</li></ol><h4 id="MTP-in-Training-Objective"><a href="#MTP-in-Training-Objective" class="headerlink" title="MTP in Training Objective"></a>MTP in Training Objective</h4><ul><li>V3의 MTP의 loss function 정의하는 부분</li><li>식 (24)에 대한 설명<ul><li>$T$: 입력 시퀀스의 길이</li><li>$t_{i}$: 위치 i에 해당하는 정답 토큰 (ground-truth token)</li><li>$P_{i}^{k}[t_{i}]$: 깊이 k의 MTP 모듈이 예측한 분포에서 정답 토큰 $t_{i}$의 확률</li><li><strong>(추가 수식 설명)</strong> 예측 깊이 k에서의 MTP 모듈은 시퀀스의 각 위치 $i&#x3D;2+k$ 부터 $T+1$까지 정답 토큰 $t_{i}$를 예측하며 그 예측 확률에 대해 크로스 엔트로피를 계산한다.<ul><li>즉 MTP의 각 depth는 정해진 미래 토큰을 예측하는 작은 언어 모델처럼 작동하고, 그 예측이 얼마나 정확한지를 측정하는 손실을 계산하는 것</li></ul></li></ul></li><li>식 (25)<ul><li>위에는 각 모듈이고 이제 전체 MTP 손실을 보는 것</li><li>$D$ : 예측 깊이의 수 (즉, 몇개의 토큰을 예측하는지)</li><li>$\lambda$  : MTP 손실에 곱하는 가중치 계수 - 하이퍼파라미터</li><li><strong>(추가 수식 설명)</strong> 전체 손실은 모든 예측 깊이에 대한 MTP 손실의 평균으로 계산되면서 전체 학습 손실에 통합하기 위해 $\lambda$를 곱해 가중치를 조정하는 것</li></ul></li></ul><h4 id="MTP-in-Inference"><a href="#MTP-in-Inference" class="headerlink" title="MTP in Inference"></a>MTP in Inference</h4><ul><li>MTP는 메인 모델의 성능 향상을 목표로 하기 때문에 inference시에는 MTP 모듈을 생략하고 메인 모델만으로 독립적으로 동작할 수 있음. </li><li>이 MTP 모듈을 speculative decoding (추측 기반의 디코딩)을 위해 재활용하게 되며 latency 를 더욱 줄이는 효과가 있을 수 있음</li><li><strong>(추가설명)</strong> Speculative Decoding이란 한 번에 여러 개의 토큰을 예측하고, 나중에 이 예측이 맞았는지 확인 → 맞았으면 수용하고 틀리면 다시 디코딩 GPT-4 Turbo에도 사용된 기법</li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Paper/">Paper</category>
      
      <category domain="https://emjayahn.github.io/categories/Paper/LLM/">LLM</category>
      
      
      <category domain="https://emjayahn.github.io/tags/LLM/">LLM</category>
      
      <category domain="https://emjayahn.github.io/tags/DeepSeekV3/">DeepSeekV3</category>
      
      <category domain="https://emjayahn.github.io/tags/Paper-Summary/">Paper Summary</category>
      
      
      <comments>https://emjayahn.github.io/2025/03/24/DeepSeek-V3-Technical-Report-%EC%A0%95%EB%A6%AC/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>DeepSeekMoE 요약</title>
      <link>https://emjayahn.github.io/2025/03/19/DeepSeekMoE-%EC%9A%94%EC%95%BD/</link>
      <guid>https://emjayahn.github.io/2025/03/19/DeepSeekMoE-%EC%9A%94%EC%95%BD/</guid>
      <pubDate>Wed, 19 Mar 2025 12:05:59 GMT</pubDate>
      
      <description>&lt;p&gt;논문 DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models를 읽고 주요 contribution 내용과 개인적으로 꼭 기억할 내용을 요약하여 정리해본다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>논문 DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models를 읽고 주요 contribution 내용과 개인적으로 꼭 기억할 내용을 요약하여 정리해본다.</p><span id="more"></span><h2 id="Abstract"><a href="#Abstract" class="headerlink" title="Abstract"></a>Abstract</h2><h3 id="문제-정의"><a href="#문제-정의" class="headerlink" title="문제 정의"></a>문제 정의</h3><ul><li>최근 LLM이 발전하면서 더 많은 파라미터를 활용할 수록 성능이 향상 → but, 그에따른 연산 비용 급격히 증가 → 이를 해결하기 위해 Mixture-of-Experts (MoE) 아키텍처 등장</li><li>MoE: 여러 개의 <strong>전문가 모델 (Experts)</strong> 을 두고, 입력 데이터에 따라 일부 전문가만 활성화하여 계산하는 방식<ul><li>이 방식은 전체 모델 크기는 증가할 수는 있으나,</li><li>한 번의 inference에서 사용되는 연산량을 줄일 수 있다.</li></ul></li><li>기존의 대표적인 MoE 아키텍처 GShard(구글) 방식은 다음과 같은 문제점이 있다.<ul><li>Spicialization 문제 : GShard에서는 N개의 전문가(Experts) 중 K개를 선택 (Top-K Routing)하여 활성화하지만, 특정 Expert 들이 중복된 지식을 학습하는 문제가 있을 수 있고, 각각의 Expert가 전문화(specialization)되지 않는 문제가 발생할 수 있음</li><li>즉, 모델이 각 전문가를 “고유한, 특별한 역할”을 가진 전문가로 만들지 못하고 일부 전문가가 과하게 중복된 역할을 수행하는 비효율성이 있다.</li></ul></li></ul><h3 id="Key-Idea"><a href="#Key-Idea" class="headerlink" title="Key Idea"></a>Key Idea</h3><ul><li>본 논문에서는 DeepSeekMoE라는 새로운 MoE 구조를 제안</li><li>목표는 각 Expert를 Specialization을 극대화하기 위함<ul><li>두 가지 핵심 전략 소개</li></ul><ol><li>Expert Segmenting(전문가 세분화) 및 Activation 방식 개선<ul><li>기존 GShard는 N개의 전문가 중 K 개만 선택하는 방식이었으나,</li><li>DeepSeekMoE에서는 각 전문가를 더 작은 단위로 세분화 ($mN$개 전문가)하여, $mK$개의 전문가를 Activate 하는 방식을 사용</li><li>이를 통해 더 다양한 조합의 Expert들을 활성화할 수 있으며, Expert간의 Knowledge 중복을 줄이고, 유연한 조합이 가능</li></ul></li><li>Shared Experts (공유 전문가(?)) 도입<ul><li>일부 Expert ($K_{s}$)를 Shared Experts로 따로 분리</li><li>이 Shared Expert는 일반 상식, 지식 (Common Knowledge) 학습</li><li>나머지 Expert들은 특정한 역할을 수행하는 것으로 특화</li></ul></li></ol></li><li>이렇게 함으로써 각 전문가가 중복 없이 고유한 정보를 학습할 수 있으며, 동시에 일반 상식은 Shared Expert가 담당하므로 불필요한 중복 연산을 줄일 수 있다.</li></ul><h3 id="Experiment"><a href="#Experiment" class="headerlink" title="Experiment"></a>Experiment</h3><ul><li>DeepSeekMoE의 효과성을 검증하기 위해, 기존 모델들과 성능 비교</li></ul><ol><li>2B 크기<ul><li>DeepSeekMoE 2B와 기존 Gshard 2.9B와 비교하여 1.5배 적은 Expert parameter와 연산량을 사용하면서도 동일한 성능을 보임</li></ul></li><li>16B 크기<ul><li>DeepSeekMoE 16B는 기존의 llama2 7B와 비슷한 성능, but 40% 정도의 연산량만 사용</li><li>더 적은 연산량으로도 동일한 성능을 유지할 수 있음을 보임</li></ul></li><li>145B 크기<ul><li>DeepSeekMoE 145B는 Gshard 보다 우수한 성능, DeepSeek 67B 모델과 비교해서 비슷한 성능, but 연산량은 DeepSeek 67Bdml 28.5%(혹은 최소 18.2%)만 사용</li><li>마찬가지로 기존 방식 대비 연산량을 대폭 줄이면서도 높은 성능을 유지할 수 있음을 보임</li></ul></li></ol><h2 id="Preliminaries-트랜스포머의-MoE"><a href="#Preliminaries-트랜스포머의-MoE" class="headerlink" title="Preliminaries: 트랜스포머의 MoE"></a>Preliminaries: 트랜스포머의 MoE</h2><ul><li><p>트랜스포머 기반의 언어 모델은 기본적으로 $L$개의 standard transformer 블록을 쌓아서 구성된다. 각 블록은 다음과 같이 표현될 수 있다.<br>$$<br>u_{1:T}^{l} &#x3D; Self-Att(h_{1:T}^{l-1}) + h_{1:T}^{l-1}<br>$$<br>$$<br>h_{t}^{l} &#x3D; FFN(u_{t}^{l})+u_{t’}^{l}<br>$$</p></li><li><p>위 식에서 $T$는 시퀀스 길이</p></li><li><p>$Slef-Att$ : 셀프 어텐션 모듈</p></li><li><p>$FFN(\cdot)$ : feed forward network</p></li><li><p>$u_{1:T}^{l} \in R^{T \times d}$ 는 $l$ 번째 어텐션 모듈을 거친 후의 모든 토큰의 hidden state</p></li><li><p>$h_{t}^{l} \in R^{d}$ 는 $l$ 번째 트랜스포머 블록을 통과한 후 $l$ 번째 토큰의 출력 hidden state</p></li><li><p>수식에서 Layer Normalization은 생략</p></li><li><p>MoE 언어 모델을 구성하는 일반적인 방법은 트랜스포머 내에서 특정 간격마다 $FFN$ 을 MoE 레이어로 대체하는 것</p></li><li><p>MoE 레이어는 여러 Experts로 구성되며, 각 Expert는 구조적으로 Feed Forward Network와 동일한 형태를 갖는다.</p><ul><li>이후 각 토큰은 하나의 Expert에 할당 될 수도 있고, </li><li>두 개의 Expert에 할당될 수도 있다.</li></ul></li><li><p>만약 $l$번째 FFN 이 MoE레이어로 대체된다면, 해당 레이어에서의 output hidden state $h_{t}^{l}$ 은 다음과 같으 계산됨<br>$$<br>h_{t}^{l} &#x3D; \Sigma_{i&#x3D;1}^{N}(g_{i, t}FFN_{i}(u_{t}^{l})) + u_{t}^{l}<br>$$<br>이 식을 추가적으로 설명하면 각 Expert $FFN_{i}$ 가 입력 $u_{t}^{l}$을 입력 받아 가중치 g와 곱해서 더한다.  입력 ut와 더하는 것은 residual connection (잔차 연결)로 볼 수 있음<br>$$<br>g_{i,t} &#x3D; s_{i, t} \quad or \quad 0 \quad where \quad s_{i, t} \in Topk(&lt;!–swig0–&gt;e_{i}^{l})<br>$$<br>각 Expert에 대한 가중치 $s_{i, t}$ 값은 Softmax로 계산됨.</p></li></ul><p><img src="/2025/03/19/DeepSeekMoE-%EC%9A%94%EC%95%BD/deepseek.png"><br>그림 (a)는 Top-2 Routing 하는 moe 레이어<br>그림 (b)는 Fine-grained expert segmentation 전략<br>그림 (c)는 shared expert isolation 전략, DeepSeekMoE 아키텍처</p><h2 id="DeepSeekMoE-아키텍처"><a href="#DeepSeekMoE-아키텍처" class="headerlink" title="DeepSeekMoE 아키텍처"></a>DeepSeekMoE 아키텍처</h2><ul><li>DeepSeekMoE는 2가지를 제시<ul><li>Fine-grained Expert Segmentation (세분화된 expert 분할)</li><li>Shared Expert Isolation (공유 전문가 분리)</li></ul></li><li>이 두가지 전략 모두 각각의 Expert의 전문성을 더욱 강화하는 것을 목표로 함</li></ul><h3 id="Fine-Grained-Expert-Segmentation"><a href="#Fine-Grained-Expert-Segmentation" class="headerlink" title="Fine-Grained Expert Segmentation"></a>Fine-Grained Expert Segmentation</h3><ul><li>기존 MoE 구조에서 전문가의 수가 제한적이면, 각 전문가에게 할당된 토큰들이 다양한 종류의 지식(Knowledge)을 포함할 가능성이 높아짐</li><li>결과적으로, 하나의 전문가가 <strong>너무 많은 종류의 지식을 학습해야 하며</strong>, 이러한 지식들은 동시에 효과적으로 활용되기가 어려움</li><li>이를 해결하기 위해 각 토큰이 더 많은 전문가에게 라우팅될 수 있다면, 각 전문가가 더 세분화된 특정 지식만을 학습할 수 있도록 조정할 수 있음</li><li>이렇게 하면 전문가가 <strong>더욱 집중된(특화된) 지식을 학습할 수 있으며</strong>, 결과적으로 <strong>각 전문가 간의 역할이 더욱 명확하게 분배</strong></li></ul><p>구체적으로, 기존 MoE 아키텍처(그림 (a))에서 <strong>각 전문가의 FFN을 𝑚개의 더 작은 전문가로 분할</strong>한다.<br>이때, 각 전문가의 FFN의 중간(hidden) 차원을 원래 크기의 $\frac{1}{m}$로 줄인다. 각 전문가가 작아진 만큼, 활성화되는 전문가의 수를 $𝑚$배 증가시켜, 전체 연산 비용을 <strong>동일하게 유지</strong>할 수 있도록 조정합니다 (그림 (b)).</p><h3 id="Shared-Expert-Isolation"><a href="#Shared-Expert-Isolation" class="headerlink" title="Shared Expert Isolation"></a>Shared Expert Isolation</h3><ul><li>기존의 라우팅 전략에서는, 서로 다른 전문가에게 할당된 토큰들이 공통적인 지식이나 정보를 필요로 할 수 있음. 그 결과, 여러 전문가들이 동일한 지식을 학습하게 되어 파라미터 중복이 발생함.</li><li>그러나, 특정 전문가를 공유 전문가로 지정하여 여러 문맥에서 필요한 공통 지식을 담당하도록 하면,다른 전문가들의 중복 학습이 줄어들어 모델이 더욱 효율적인 구조를 가질 수 있음.</li><li>이는 전문가 specialization를 강화하고, 모델이 적은 파라미터로도 효과적인 성능을 내도록 만듦.</li></ul><p>이를 위해, 세분화된 전문가 분할(Fine-Grained Expert Segmentation) 전략과 함께 $𝐾ₛ$개의 전문가를 공유 전문가로 따로 분리함. 이때,</p><ul><li>라우터 모듈과 관계없이 모든 토큰은 항상 이 공유 전문가들에게 배정됨.</li><li>연산 비용을 일정하게 유지하기 위해, 다른 전문가들에게 라우팅되는 활성 전문가 수를 𝐾ₛ만큼 감소시킴.</li><li>그림 (c) 참고</li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Paper/">Paper</category>
      
      <category domain="https://emjayahn.github.io/categories/Paper/LLM/">LLM</category>
      
      
      <category domain="https://emjayahn.github.io/tags/LLM/">LLM</category>
      
      <category domain="https://emjayahn.github.io/tags/Paper-Summary/">Paper Summary</category>
      
      <category domain="https://emjayahn.github.io/tags/MoE/">MoE</category>
      
      <category domain="https://emjayahn.github.io/tags/DeepSeekMoE/">DeepSeekMoE</category>
      
      
      <comments>https://emjayahn.github.io/2025/03/19/DeepSeekMoE-%EC%9A%94%EC%95%BD/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Study] Model-Free Prediction</title>
      <link>https://emjayahn.github.io/2023/07/02/20230702-rl-model-free-prediction/</link>
      <guid>https://emjayahn.github.io/2023/07/02/20230702-rl-model-free-prediction/</guid>
      <pubDate>Sun, 02 Jul 2023 09:46:04 GMT</pubDate>
      
      <description>&lt;p&gt;본 글은 David Silver의 강의를 듣고서 정리한 글이다. 이번 강의는 model-free 구조를 살펴보는 강의이다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>본 글은 David Silver의 강의를 듣고서 정리한 글이다. 이번 강의는 model-free 구조를 살펴보는 강의이다.</p><span id="more"></span><h3 id="model-free"><a href="#model-free" class="headerlink" title="model-free?"></a>model-free?</h3><p>앞선 강의에서 state value를 계산하는 것들을 봤는데 이를 계산할 수 있었던 이유는 우리가 state transition probability라던지, policy라던지, reward가 어떻게 나오는지에 대한 <code>probability</code>를 알고 있기 때문에 가능했다.</p><p><strong>오늘 강의에서는 우리는 주어진 environement에 대한 지식이 없고, 그저 agent가 겪게 되는 experience(episode)를 통해 주어진 environement에 대한 policy의  value를 추측하는 것이다.</strong></p><h3 id="prediction"><a href="#prediction" class="headerlink" title="prediction?"></a>prediction?</h3><p>RL에서는 어느정도 evaluation과 interchangable하게 쓰이는 것 같다.</p><p>보통 policy evaluation을 prediction problem의 범주로 본다.</p><aside>❗ problem의 범주는 보통 prediction, 그리고 control로 나누어진다.</aside><h3 id="오늘-배울-것들"><a href="#오늘-배울-것들" class="headerlink" title="오늘 배울 것들"></a>오늘 배울 것들</h3><ul><li>Monte-Carlo (MC) Policy Evaluation</li><li>Temporal-Difference (TD) policy evaluation</li><li>TD($\lambda$) policy evaluation &#x3D;⇒ MC와 TD(0)의 사이</li><li>MC, TD, TD($\lambda$), 그리고 DP와의 관계</li></ul><h2 id="Monte-Carlo-policy-evaluation"><a href="#Monte-Carlo-policy-evaluation" class="headerlink" title="Monte-Carlo policy evaluation"></a>Monte-Carlo policy evaluation</h2><h3 id="특징"><a href="#특징" class="headerlink" title="특징"></a>특징</h3><ul><li>에피소드들로부터 배운다. ⇒ 모델을 정확히 몰라도 괜찮다.(Model-free)</li><li>Complete episode들로부터 배운다. (episode가 진행되는 동안에 배우는 건 안된다.)<ul><li>따라서 episode들은 terminate되어야 한다. (terminal state에 의해서든, 아니면 episode 최대 숫자를 통해서든)</li></ul></li><li><strong>여러 state transition을 겪은 reward들을 바탕으로 계산하는 평균 return을 바탕으로 value를 추정한다.</strong></li></ul><h3 id="실제-evaluation-과정"><a href="#실제-evaluation-과정" class="headerlink" title="실제 evaluation 과정"></a>실제 evaluation 과정</h3><ul><li>주어진 policy에 따라 agent는 episode를 경험하게 된다.</li><li>이전에는 모든 경우에 수를 고려해 expected return을 구했었다면, 지금은 model에 대한 지식이 없으니 경험에 의존해서만 expected return을 구한다.</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled1.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled2.png" alt="Untitled"></p><ol><li>일단 episode를 시작하고, 주어진 policy에 따라 action을 취하면서 reward를 얻고, 이를 통해 $G_t$를 구할 수 있다.</li><li>First-visit인지, Every-visit인지에 따라<ol><li>어떤 state에 visit하면 해당 state의 count 값(N(s))을 올리고, </li><li>visit할 당시의 $G_t$값을 S(s)에 누적해 준다.</li><li>(First-visit이면 말그대로 처음 state에 도달했을 때만 위 계산을 해준다.)</li></ol></li><li>모든 episode에 대해 위와 같은 계산을 끝마쳐주고 난 나뒤에 N(s)와 S(s)를 통해서 평균을 내준다.</li></ol><h3 id="MC-Example"><a href="#MC-Example" class="headerlink" title="MC Example"></a>MC <strong>Example</strong></h3><p>State sequence가 다음과 같이 주어졌다고 하자. (action과 reward는 생략)</p><p>s1 →  s2 → s3 →  s4 →  s2 →  sF</p><p>여기서 s2의 state value를 구해보자.</p><p>First Visit의 경우</p><p>Gt: (s2, s3, s4, s2, sF)를 통해 return을 구한다.</p><p>N(s2)&#x3D;1</p><p>Every Visit:</p><p>Gt1: (s2, s3, s4, s2, sF)을 통해 return을 구한다.</p><p>Gt2 : (s2, sF)을 통해 return을 구한다.</p><p>s(s2) &#x3D; Gt1 + Gt2</p><p>V(s2) &#x3D; (Gt1 + Gt2)&#x2F;2</p><h3 id="Blackjack-example"><a href="#Blackjack-example" class="headerlink" title="Blackjack example"></a>Blackjack example</h3><p>솔직히 적당한 예라고는 생각되지 않지만 model-free에 대한 예제로 생각한다.</p><h3 id="Incremental-MC-update"><a href="#Incremental-MC-update" class="headerlink" title="Incremental MC update"></a>Incremental MC update</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled3.png" alt="Untitled"></p><ul><li>우리가 어떤 값들의 평균을 구할 때, 맨 마지막에 한꺼번에 구할 수도 있지만</li><li>이전에 구해 놓은 평균을 이용해서 구할 수 있다.</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled4.png" alt="Untitled"></p><ul><li>마찬가지로 V(S) (return들의 평균)을 구할 때도, 이전에 구해 놓은 V(S) 값과 새롭게 얻게 된 $G_t$값을 이용해 구할 수 있다.</li><li>아래와 같이 특정 상수($\alpha$)를 이용해서 이전에 구해놓은 평균과 새롭게 얻게 된 값을 어떤 식으로 이용할 것인지 weight를 고정해서 줄 수 있다.</li></ul><h2 id="Temporal-difference-TD-policy-evaluation"><a href="#Temporal-difference-TD-policy-evaluation" class="headerlink" title="Temporal-difference (TD) policy evaluation"></a>Temporal-difference (TD) policy evaluation</h2><h3 id="특징-1"><a href="#특징-1" class="headerlink" title="특징"></a>특징</h3><ul><li>**(MC와 동일)**에피소드들로부터 배운다. ⇒ 모델을 정확히 몰라도 괜찮다.(Model-free)</li><li><strong>(MC와 상이)</strong> incomplete episode들로부터 학습할 수 있다. (<code>bootstrapping</code>)</li></ul><h3 id="MC와-TD의-비교"><a href="#MC와-TD의-비교" class="headerlink" title="MC와  TD의 비교"></a>MC와  TD의 비교</h3><h3 id="MC"><a href="#MC" class="headerlink" title="MC"></a>MC</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled5.png" alt="Untitled"></p><p>실제 complete episode를 통해 알고 있는 $G_t$를 통해 업데이트 한다.</p><h3 id="TD-0"><a href="#TD-0" class="headerlink" title="TD(0)"></a>TD(0)</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled6.png" alt="Untitled"></p><p>MC처럼 진짜 $G_t$값이 아닌 $G_t$의 estimator라고 할 수 있는 $R_{t+1}+\gamma V(S_{t+1})$을 사용한다.</p><ul><li>$V(S_{t+1})$이 최종적인 값이 아니기 때문에 estimate인 것이다.</li><li>예전 $V(S_{t+1})$ 값을 사용할 수 있기 때문에 꼭 episode를 complete하지 않더라도 바로바로 업데이트할 수 있다. (<code>online</code>)</li></ul><aside>❗ TD에서 빨간 부분은 TD 뒤에 들어가는 숫자에 따라 달라진다.</aside><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled7.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled8.png" alt="Untitled"></p><ul><li>State value를 reward가 아닌 그 state에서부터 집까지 걸리는 예상 시간이라고 하자.</li><li>MC 같은 경우에는 다음 state에서 뭐라고 새롭게 예측했던 상관없이 처음부터 끝까지 다 가본 다음, 실제 집까지 걸린 시간과, 그 state에서 예상한 걸린 시간의 차를 가지고 계산한다.</li><li>TD 같은 경우에는 이전 state value를 업데이트할 때, 현재 state value만을 이용해서 업데이트한다.<ul><li>현재 state value가 실제로 정확하던 아니던 상관이 없다. 반복하다 보면 맞아 갈테니까</li></ul></li></ul><h3 id="MC-vs-TD-2"><a href="#MC-vs-TD-2" class="headerlink" title="MC vs TD (2)"></a>MC vs TD (2)</h3><h3 id="MC-1"><a href="#MC-1" class="headerlink" title="MC"></a>MC</h3><ul><li>에피소드가 끝나서 return을 알아낼 때까지 기다려야 된다.</li><li>terminate가 꼭 필요하다.</li></ul><h3 id="TD"><a href="#TD" class="headerlink" title="TD"></a>TD</h3><ul><li>episode가 끝나지 않아도 매 step마다 업데이트가 가능 (online)</li><li>바로바로 배울 수 있으므로 꼭 episode가 끝날 필요는 없다.</li></ul><h3 id="MC-vs-TD-3-Bias-x2F-Variance"><a href="#MC-vs-TD-3-Bias-x2F-Variance" class="headerlink" title="MC vs TD (3) - Bias&#x2F;Variance"></a>MC vs TD (3) - Bias&#x2F;Variance</h3><h3 id="MC-2"><a href="#MC-2" class="headerlink" title="MC"></a>MC</h3><ul><li>$G_t$&#x3D;unbiased estimate of $v_{\pi}(S_t)$</li><li>Zero bias</li><li>$G_t$는 뒤에 많은 random variable이 따라오므로 variance가 높다.</li><li>initial value에 덜 sensitive하다.</li></ul><h3 id="TD-1"><a href="#TD-1" class="headerlink" title="TD"></a>TD</h3><ul><li>“True” TD target &#x3D; $R_{t+1}+\gamma v_\pi (S_{t+1})$&#x3D;unbiased estimate of $v_\pi (S_t)$</li><li>TD target &#x3D; $R_{t+1}+\gamma V (S_{t+1})$&#x3D;biased estimate of $v_\pi (S_t)$</li><li>TD target은 한가지 action값과 이미 정해진 V값에만 의존하므로 variance가 낮다.</li><li>intial value에 sensitive하다.</li></ul><h3 id="Random-walk-example"><a href="#Random-walk-example" class="headerlink" title="Random walk example"></a>Random walk example</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled9.png" alt="Untitled"></p><ul><li>처음에 0.5로 value들이 initialize되어 있다가</li><li>계속 episode가 늘어날수록 true value(아마도 DP로 구했을 법한)로 수렴하는 것을 볼 수 있다.</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled10.png" alt="Untitled"></p><ul><li>TD가 MC보다 더 빠르게 True value에 접근하는 것을 볼 수 있다.</li></ul><h2 id="Batch-MC-and-TD"><a href="#Batch-MC-and-TD" class="headerlink" title="Batch MC and TD"></a>Batch MC and TD</h2><ul><li>episode를 무한히 많이 늘리면 V(s)가 $v_{\pi}(s)$에 가까워 지겠지만 실제로는 그렇게 할 수 없다.</li><li>그래서 finite한 k개의 episode 중에서 계속 sample해서 MC나 TD를 시행한다.</li></ul><h3 id="AB-example"><a href="#AB-example" class="headerlink" title="AB example"></a>AB example</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled11.png" alt="Untitled"></p><ul><li>보면 A의 경우에는 B가 0의 reward를 받는 episode 한가지만 겪고 있다.</li><li>MC와 TD를 돌렸을 때 V(A)와 V(B)는 어떻게 될까?</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled12.png" alt="Untitled"></p><ul><li><p>MC 같은 경우에는 $G_t$의 에러, 즉 episode의 전체 trace의 에러를 줄이려는 방향으로 solution을 만든다.</p><p>  <img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled13.png" alt="Untitled"></p></li><li><p>TD 같은 경우에는 각 state의 에러를 줄이려는 방향으로 수렴하게 된다.</p><ul><li><p>Maximum-liklihood Markov model)을 만드는 것과 마찬가지다. (state transition probability distribution과 reward probabilty를 모델링함)</p><p>  <img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled14.png" alt="Untitled"></p><p>  <img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled15.png" alt="Untitled"></p></li><li><p>Markov property를 적극 이용하는 셈: V(A) ~ R(A)+$\gamma$V(B)</p></li></ul></li></ul><h2 id="Dynamic-programming-Monte-Carlo-and-Temproal-Difference"><a href="#Dynamic-programming-Monte-Carlo-and-Temproal-Difference" class="headerlink" title="Dynamic programming, Monte-Carlo, and Temproal-Difference"></a>Dynamic programming, Monte-Carlo, and Temproal-Difference</h2><p>policy evaluation process를 2가지 측면으로 나눠서 생각할 수 있다.</p><ul><li>Bootstrapping: estimate을 이용해서 state value를 update할 것인가<ul><li>MC: 끝까지 episode를 진행한 후에 계산이 되므로 estimate를 쓰지 않음 ⇒ <strong>No bootstrapping</strong></li><li>DP, TD: 다음 번 state value esimtation을 가지고 현재 state value를 update를 한다. ⇒ <strong>Bootstrapping</strong></li></ul></li><li>Sampling: 나올 수 있는 경우의 수를 전부다 쓸 것인가 그 중 하나만 sample해서 쓸 것인가<ul><li>MC, TD: 나올 수 있는 모든 state transition을 고려하는 것이 아니라 episode에서 실제 발생한 것만 sample해서 쓰는 것이므로 ⇒ <strong>Sampling</strong></li><li>DP: 모든 state transition을 고려해서 update하므로 ⇒ <strong>No sampling</strong></li></ul></li></ul><table><thead><tr><th></th><th>Bootstrapping</th><th>No bootstrapping</th></tr></thead><tbody><tr><td>No sampling</td><td>DP</td><td></td></tr><tr><td>Sampling</td><td>TD</td><td>MC</td></tr></tbody></table><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled16.png" alt="Untitled"></p><h2 id="TD-lambda"><a href="#TD-lambda" class="headerlink" title="TD($\lambda$)"></a>TD($\lambda$)</h2><h3 id="n-step-prediction"><a href="#n-step-prediction" class="headerlink" title="n-step prediction"></a>n-step prediction</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled17.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled18.png" alt="Untitled"></p><ul><li>지금까지 봤던 TD의 경우에는 TD(0)로써 딱 현재의 step을 봤지만</li><li>여기에 변형을 주어서 <strong>n-step까지</strong> 활용하게 할 수도 있다.</li><li>이 n을 무한대로 늘려 놓은 것이 Monte-Carlo이다.</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled19.png" alt="Untitled"></p><ul><li>위의 그래프는 다양한 n-step을 이용했을 때의 RMS을 보여준다.</li><li>1이 TD이고, 숫자가 커질수록 MC가 된다.</li><li><strong>주목할 점은 에러가 가장 작아지는 특정한 n이 존재한다는 점이다.</strong></li></ul><h3 id="Averaging-n-Step-returns"><a href="#Averaging-n-Step-returns" class="headerlink" title="Averaging n-Step returns"></a>Averaging n-Step returns</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled20.png" alt="Untitled"></p><ul><li>그렇다면 우리는 어떤 n을 써야할까?</li><li>이러한 점을 확실히 모르기 때문에 우리는 여러가지 n을 함께 써서 평균을 내는 방법으로 optimal n을 모르더라도 적당히 좋은 결과를 얻을 수 있다.</li><li>위의 에제에서는 n&#x3D;2와 n&#x3D;4를 함께 이용하였다.</li><li><strong>그렇다면 몇 개의 n을 섞을 것이며 어떤 n들을 섞을 것인지 어떻게 정할 것인가?</strong></li></ul><h3 id="TD-lambda-1"><a href="#TD-lambda-1" class="headerlink" title="TD($\lambda$)"></a>TD($\lambda$)</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled21.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled22.png" alt="Untitled"></p><ul><li>$(1-\lambda), (1-\lambda)\lambda, (1-\lambda)\lambda^2, \cdots$처럼 weight를 만들어서</li><li>각각의 Return estimate($G_t^{(n)}$)에 곱해준다.</li><li>그러면 몇개의 n-step을 섞어 넣던 weight들의 합이 1이 되게 된다.</li><li>(당연히 1-step return이 가장 큰 비중을 차지하게 될 것이다.)</li></ul><h3 id="Forward-view-and-backward-view-of-TD-lambda"><a href="#Forward-view-and-backward-view-of-TD-lambda" class="headerlink" title="Forward view and backward view of TD($\lambda$)"></a>Forward view and backward view of TD($\lambda$)</h3><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled23.png" alt="Untitled"></p><ul><li>결국 MC와 마찬가지로 TD($\lambda$)를 계산하기 위해서는 다음 state들과 그에 해당하는 return들이 필요하다.</li><li>따라서 episode가 끝나야지만 계산할 수 있다. (이론적으로는 그렇다.)</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled24.png" alt="Untitled"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled25.png" alt="Untitled"></p><ul><li>하지만 실제로 TD($\lambda$)를 구현할 때는</li><li>Eligibility Trace라는 것을 각 state마다 기록해서</li><li>필요한 정보가 나온 곳까지의 $G_t^{(\lambda)}$까지 기록해준다.</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/Untitled26.png" alt="Untitled"></p><ul><li>Eligibility trace라는 것은 위와 같이 계산할 수 있다.</li><li>$\gamma$에 의해서 episode가 진행됨에 따라 값이 서서히 줄어든다. (최근의 state visit에 더 가중치를 주는 Recency heuristic)</li><li>그리고 state visit마다 1씩 더해준다. (얼마나 자주 visit하는지에 가중치를 주는 Frequency heuristic)</li></ul><p><img src="/2023/07/02/20230702-rl-model-free-prediction/lec4-td_lambda.001.jpeg" alt="lec4-td_lambda.001.jpeg"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/lec4-td_lambda.002.jpeg" alt="lec4-td_lambda.002.jpeg"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/lec4-td_lambda.003.jpeg" alt="lec4-td_lambda.003.jpeg"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/lec4-td_lambda.004.jpeg" alt="lec4-td_lambda.004.jpeg"></p><p><img src="/2023/07/02/20230702-rl-model-free-prediction/lec4-td_lambda.005.jpeg" alt="lec4-td_lambda.005.jpeg"></p><p><img src="/lec4-td_lambda.0011.jpeg" alt="lec4-td_lambda.001.jpeg"></p><h3 id="lambda-에-따른-backward-view와-forward-view와의-관계"><a href="#lambda-에-따른-backward-view와-forward-view와의-관계" class="headerlink" title="$\lambda$에 따른 backward view와 forward view와의 관계"></a>$\lambda$에 따른 backward view와 forward view와의 관계</h3><ul><li>당연히 forward view는 모든 episode가 끝나야 완성이 되고, backward view와 같아지므로 onlie update일 경우에는 forward view ≠ backward view인 순간들이 있다.<ul><li>위에서 쓴 Eligibility trace말고 변형을 사용하면 online일 때도 같다고 한다.</li></ul></li><li>그러나 기본적으로 backward와 forward는 같아야 하고, $\lambda&#x3D;0$일 때는 TD(0), $\lambda&#x3D;1$일 때는 every visit MC와 equivalent하다.</li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/DataScience/">DataScience</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Reinforcement-Learning/">Reinforcement Learning</category>
      
      
      <comments>https://emjayahn.github.io/2023/07/02/20230702-rl-model-free-prediction/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Study] Reinforcement Learning Basic</title>
      <link>https://emjayahn.github.io/2023/06/04/20230604-rl-basic/</link>
      <guid>https://emjayahn.github.io/2023/06/04/20230604-rl-basic/</guid>
      <pubDate>Sun, 04 Jun 2023 06:42:41 GMT</pubDate>
      
      <description>&lt;h1 id=&quot;Lec1-Intro-to-RL&quot;&gt;&lt;a href=&quot;#Lec1-Intro-to-RL&quot; class=&quot;headerlink&quot; title=&quot;Lec1 Intro to RL&quot;&gt;&lt;/a&gt;Lec1 Intro to RL&lt;/h1&gt;&lt;h2 id=&quot;1-About-Reignforcement-Learning&quot;&gt;&lt;a href=&quot;#1-About-Reignforcement-Learning&quot; class=&quot;headerlink&quot; title=&quot;1. About Reignforcement Learning&quot;&gt;&lt;/a&gt;1. About Reignforcement Learning&lt;/h2&gt;&lt;h3 id=&quot;1-1-다양한-분야에서의-강화학습&quot;&gt;&lt;a href=&quot;#1-1-다양한-분야에서의-강화학습&quot; class=&quot;headerlink&quot; title=&quot;1.1 다양한 분야에서의 강화학습&quot;&gt;&lt;/a&gt;1.1 다양한 분야에서의 강화학습&lt;/h3&gt;&lt;p&gt;다양한 분야에서 RL과 같은 혹은 비슷한 개념의 연구와 시도가 계속 되고 있습니다. 여기서 서로 다른 분야라 할지라도 공유되는 핵심 Key Concept은 “Decision Making” 입니다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><h1 id="Lec1-Intro-to-RL"><a href="#Lec1-Intro-to-RL" class="headerlink" title="Lec1 Intro to RL"></a>Lec1 Intro to RL</h1><h2 id="1-About-Reignforcement-Learning"><a href="#1-About-Reignforcement-Learning" class="headerlink" title="1. About Reignforcement Learning"></a>1. About Reignforcement Learning</h2><h3 id="1-1-다양한-분야에서의-강화학습"><a href="#1-1-다양한-분야에서의-강화학습" class="headerlink" title="1.1 다양한 분야에서의 강화학습"></a>1.1 다양한 분야에서의 강화학습</h3><p>다양한 분야에서 RL과 같은 혹은 비슷한 개념의 연구와 시도가 계속 되고 있습니다. 여기서 서로 다른 분야라 할지라도 공유되는 핵심 Key Concept은 “Decision Making” 입니다.</p><span id="more"></span><p><img src="/2023/06/04/20230604-rl-basic/Untitled.png" alt="Untitled"></p><h3 id="1-2-강화학습의-특징"><a href="#1-2-강화학습의-특징" class="headerlink" title="1.2 강화학습의 특징"></a>1.2 강화학습의 특징</h3><ul><li>No supervisor, but <strong>reward signal</strong><ul><li>덧붙이자면, 흔히 지도학습(supervised learning)에서는 우리가 제공하는 정답 데이터와 설계한 Loss Function을 이용해 모델에 Feedback을 주지만, 강화학습에서는 정답이라는 데이터를 제공하지 않은채, Agent 의 Action 에 대해 “오구 잘했어 5점”, “그건 좀 별론데? 1점” 과 같이 reward 로 feedback 을 제공합니다.</li></ul></li><li>Delayed Feedback, Not instantaneous<ul><li>Agent 의 지금의 결정(action)이 좋았는지&#x2F;나빴는지가 몇 스텝 후에 나온다는 것이 특징입니다.</li></ul></li><li>Sequential, not i.i.d data<ul><li>(FYI) i.i.d : independent identical distribution (Random Variable 의 독립, 동일 확률분포)</li><li>강화학습의 데이터는 시계열적인(Sequential) 데이터</li></ul></li><li>Agent’s actions affect the subsequent data<ul><li>Agent 의 행동이 reward와 received data 에 영향을 줍니다.</li><li>EX) 로봇이 움직일 때마다 로봇이 보는 화면과 reward가 각각 달라집니다.</li></ul></li></ul><p><img src="/2023/06/04/20230604-rl-basic/Untitled01.png" alt="Untitled"></p><h2 id="2-The-Reinforcement-Learning-Problem"><a href="#2-The-Reinforcement-Learning-Problem" class="headerlink" title="2. The Reinforcement Learning Problem"></a>2. The Reinforcement Learning Problem</h2><h3 id="2-1-Rewards"><a href="#2-1-Rewards" class="headerlink" title="2.1 Rewards"></a>2.1 Rewards</h3><ul><li>reward $R_t$ : scalar feedback signal<ul><li>시간 t 에서 agent 의 action (or 선택)이 얼마나 잘 한 것인지 나타내는 피드백 신호</li><li>agent의 목표 : 누적 reward의 최대화 (maximise cumulative reward)</li><li>RL 은 <code>reward hypothesis</code> 위에서 이루어진다</li></ul></li><li>Reward Hypothesis<ul><li>All goals can be described by the maximisation of expected cumulative reward</li><li><strong>모든 목표는 누적 reward의 기댓값을 최대화 하는 것으로 잡을 수 있다.</strong> (아직 구체적으로 느낌은 오지 않음.. 과연 그런가..?)</li></ul></li></ul><h3 id="2-2-Sequential-Decision-Making"><a href="#2-2-Sequential-Decision-Making" class="headerlink" title="2.2 Sequential Decision Making"></a>2.2 Sequential Decision Making</h3><ul><li>RL 은 결국 sequential decision making 이라고 표현 될 수 있다.<ul><li>sequential : 매 순간 t 에 대해서</li><li>decision making : agent 의 action 을 선택하는 과정</li></ul></li><li>Agent의 Action 은 그 결과가 즉시 나오지 않을 수 있다. (may have long term consequences)</li><li>Action 에 대한 Reward 역시 즉시 나오지 않을 수 있다. (reward ma be delayed)</li><li>지금, 이순간의 reward를 포기하고, long-term reward를 더 크게 하는 방향의 선택이 좋을 수 잇다.</li><li>(Ex) Financial investment (take months to mature), refuelling a helipcopter (prevent a crash in several hours), blocking opponent moves (help winning chances many moves from now)</li></ul><h3 id="2-3-Agent-and-Environment"><a href="#2-3-Agent-and-Environment" class="headerlink" title="2.3 Agent and Environment"></a>2.3 Agent and Environment</h3><ul><li>‘뇌’로 묘사되는 것이 Agent</li><li>Our Goal: build on agent&#x2F;algorithm<ul><li>Agent decides Action (EX: 모터의  Torque를 어떻게 설정할지, 로봇이 어떻게 움직일지 등)</li></ul></li></ul><p><img src="/2023/06/04/20230604-rl-basic/Untitled02.png" alt="Untitled"></p><ul><li>❗️매 Step t 마다❗️<ol><li>Agent는<ol><li>action $A_t$ 를 수행</li><li>observation $O_t$ 를 받음</li><li>scalar reward $R_t$ 를 받음</li></ol></li><li>Environment는<ol><li>agent 가 수행한 action $A_t$를 받음</li><li>a에 대해 observation $O_{t+1}$ 로 반응</li><li>a에 대해 scalar reward $R_{t+1}$ 로 반응</li></ol></li><li>t + 1로 다음 스텝 증가</li></ol><h3 id="2-4-History-and-State"><a href="#2-4-History-and-State" class="headerlink" title="2.4 History and State"></a>2.4 History and State</h3><ol><li><p>HISTORY</p><ul><li>DEFINITION: observation 과 action, rewards의 sequence</li></ul><p> $$<br> H_{t}&#x3D;O_{1}, R_{1}, A_{1},…, A_{t-1}, O_t, R_t<br> $$</p><ul><li>❓Q❓: 위의 정의에서 보면, $R_{t}, O_{t}$ 의 경우 $A_{t}$에 대한 reaction 입니다. 따라서 Ot, Rt가 나타나기 위에서는 At가 반드시 선행되어야 하는것 같은데, time step t 에서의 history Ht는 At 가 빠져있습니다. 왜일까요? Ot, Rt → At 가 순서이면 make sense 할 것 같습니다만;;</li><li>Next step by current history:<ul><li>agent의 action</li><li>environment 가 observation 과 reward를 결정</li></ul></li></ul></li><li><p>State</p><ul><li>DEFINITION: 다음 step 에 어떤 것을 할지 정하는 정보</li><li>보통, Function of History</li></ul><p> $$<br> S_{t} &#x3D; f(H_{t})<br> $$</p></li></ol></li></ul><h3 id="2-5-State"><a href="#2-5-State" class="headerlink" title="2.5 State"></a>2.5 State</h3><ol><li>Environment State: $S_{t}^{e}$<ol><li>David Silver “Information in the environment to determine what happens next”</li><li>Environment’s private representation</li><li>보통 Environment State 는 agent 에게 보이지 않는다</li><li>Environment State 가 agent 에게 보인다 할지라도, irrelevant information 일 가능성이 크다</li></ol></li><li>Agent State: $S_{t}^{a}$<ol><li>$S_{t}^{a} &#x3D; f(H_t)$ : Funtion of History</li><li>RL algorithm에서 사용될 agent에 관한 정보</li></ol></li><li>Information State (&#x3D;aka Markov State)<ol><li><p>History 로부터 얻게되는 모든 유용한 정보</p></li><li><p>A state $S_{t}$ is Markov:</p><p> Definition: </p><p> $$<br> P[S_{t+1}|S_{t}] &#x3D; P[S_{t+1}|S_1, …, S_{t}]<br> $$</p></li><li><p>Markov Property의 핵심은 </p><ul><li>“미래의 State 는 현재 State에만 영향을 받는다”</li><li>“미래의 State 는 과거 모든 State에 대해 독립적이다”</li><li>Store ONLY current State (현재의 State가 이전의 history 정보를 담고 있으므로. RL 과 memory, Dynamic Programming 과의 연관성을 intuitively 이해할 수 있음)</li><li>헬리콥터 예제) 헬리콥터가 지금 바람을 맞을 때, 10분전 헬리콥터가 어떤 velocity 와 어떤 position 에 있었는지 중요하지 않다</li></ul></li></ol></li></ol><h3 id="2-6-Fully-Observable-Environments-amp-Partially-Observable-Environments"><a href="#2-6-Fully-Observable-Environments-amp-Partially-Observable-Environments" class="headerlink" title="2.6 Fully Observable Environments &amp; Partially Observable Environments"></a>2.6 Fully Observable Environments &amp; Partially Observable Environments</h3><ol><li><p>Full observability : agent 가 directly environment state를 확인 할 수 있는 환경</p><ul><li>environment state &#x3D; agent state &#x3D; information state</li></ul><p> $$<br> O_t&#x3D;S_{t}^{a}&#x3D;S_{t}^{e}<br> $$</p><ul><li>보통 위 state 들은 Markov Decision Procee (MDP)</li></ul></li><li><p>Partial Observability : agent가 indirectly environment state 를 확인 할 수 있는 환경</p><ul><li>agent ≠ environment state</li><li>보통 이를, Partially observable Markov Decision Process (POMDP) 라고 한다.</li><li>이 경우, agent 는 자신의 state representation $S_t^{a}$ 를 정해야한다. 다음은 경우에 따라 $S_t^{a}$를 정하는 방식이다.<ul><li>Complete History 의 경우 : $S_t^{a}&#x3D;H_t$</li><li>Beliefs of environment state (Baysian Approach) : $S_t^{a} &#x3D; (P[S_t^{e}]&#x3D;s^1, …, P[S_t^{e}]&#x3D;s^n)$ - Vector Probability에 의해 agent 의 next step 이 결정된다</li><li>Recurrent Neural Network (Probability를 사용하지 않고, 단지 agent에 숫자만 넣어주면 된다는 생각으로 network를 사용할 수 도 있다.) : $S_t^{a} &#x3D; \sigma(S_{t-1}^{a}W_{s}+O_{t}W_{o})$</li></ul></li></ul></li></ol><p>MDP 와 POMDP 를 추후에 본 강의에서 다룰 수도 있겠지만, 그 내용의 중요도와 본 수업의 진행 방식에 따라 아래 강의도 함께 진행해도 좋을 것 같습니다. </p><p><a href="https://www.youtube.com/watch?v=uHEjez97BvE">https://www.youtube.com/watch?v=uHEjez97BvE</a></p><h2 id="3-Inside-an-RL-Agent"><a href="#3-Inside-an-RL-Agent" class="headerlink" title="3. Inside an RL Agent"></a>3. Inside an RL Agent</h2><h3 id="3-1-Major-Components-of-an-RL-Agent"><a href="#3-1-Major-Components-of-an-RL-Agent" class="headerlink" title="3.1 Major Components of an RL Agent"></a>3.1 Major Components of an RL Agent</h3><ol><li>Policy : Agent의 행동함수(behavior function)</li><li>Value function : 각 state 와 action 이 얼마나 좋은지 나타내는 함수 (how much reward do we expect to get)</li><li>Model : Agent 관점에서 바라보는 environment (agent’s representation)</li></ol><ul><li>위 세가지가 항상 모두 필요한 것은 아닙니다. 경우에 따라, 필요에 따라 구성하게 됩니다.</li></ul><h3 id="3-2-Policy"><a href="#3-2-Policy" class="headerlink" title="3.2 Policy"></a>3.2 Policy</h3><ul><li>Policy : Agent의 행동함수</li><li>Map from state to action</li><li>Policy 의 종류<ol><li>Deterministic Policy: $a &#x3D; \pi(s)$ - argmax</li><li>Stochastic Policy: $\pi(a|s) &#x3D; P[A_{t}&#x3D;a|S_{t}&#x3D;s]$</li></ol></li></ul><h3 id="3-3-Value-Function"><a href="#3-3-Value-Function" class="headerlink" title="3.3 Value Function"></a>3.3 Value Function</h3><ul><li>Value Function : Prediction of future Reward</li><li>State 1 or 2 &#x2F; Action 1 or 2 를 선택할 때의 기준이 됩니다.</li><li>$v_{\pi}(s)&#x3D;E_{\pi}[R_{t+1}+\gamma R_{t+2}+\gamma^{2}R_{t+3}+…|S_{t}&#x3D;s]$ ($\gamma$: discount factor - 더 먼 미래의 예측 reward 효과를 감소시키기 위함)</li></ul><h3 id="3-4-Model"><a href="#3-4-Model" class="headerlink" title="3.4 Model"></a>3.4 Model</h3><ul><li><p>Model : Environment 의 행동을 예측 (Agent 의 관점에서의 행동방식이지, 실제 environment 의 행동방식이 아님)</p></li><li><p>Transition Model $P$  :  $P$ predicts the next <strong>state</strong></p><p>  $$<br>  P_{ss’}^{a} &#x3D; P[S_{t+1}&#x3D;s’|S_t&#x3D;s, A_t&#x3D;a]<br>  $$</p></li><li><p>Reward Model $R$ : $R$ predicts the next (immediate) <strong>reward</strong></p></li></ul><p>$$<br>R_s^{a}&#x3D;E[R_{t+1}|S_t&#x3D;s, A_t&#x3D;a]<br>$$</p><p>(Q) Trasition Model의 경우, Agent 관점에서 (Environment? ) state 를 예측 하는 것이라면, Policy 와의 역할 차이는 무엇일까? Policy와 Value Function 을 통해 agent 의 action 이 결정되고, 결정된 현재 action 에 의해 다음 state가 결정된다. 이렇게 볼때 Transition Model 과 Agent 간의 연결고리? TransitionModel과 Policy 간의 관계가 어떻게 되는지? Reward Model 도 마찬가지.</p><h3 id="3-5-Maze-Example"><a href="#3-5-Maze-Example" class="headerlink" title="3.5 Maze Example"></a>3.5 Maze Example</h3><ol><li>Policy <ol><li>아래 그림에서, 화살표→를 Policy라 생각할 수 있습니다.</li><li>⬜️  를 state 라 생각할 수 있습니다.</li><li>Agent 가 특정 ⬜️  에 도착했을 때, → 를 따라 이동하는 것이 Action 이라 생각할 수 있습니다.</li></ol></li></ol><p><img src="/2023/06/04/20230604-rl-basic/Untitled03.png" alt="Untitled"></p><ol><li>Value Function<ol><li>아래 그림은, 각 state 마다 value function 값을 적어놓은 것입니다.</li><li>특정 ⬜️  , 즉 state 에 도착했을 때, 다음 state(다음 action)을 결정 짓는 기준이 됩니다.</li><li>$v_{\pi}(s)$</li></ol></li></ol><p><img src="/2023/06/04/20230604-rl-basic/Untitled04.png" alt="Untitled"></p><ol><li>Model<ol><li>Agent가 Modeling 한 immediate reward (실제 environment 가 아님)</li><li>Dynamics : Action이 State 를 어떻게 변화 시키는지 (Q) 갑자기 어디서 튀어나온 terminology이죠? 강의 부분에서도 크게 언급을 안하였는데 Definition 처럼 표기를 해놨네요. Model 은 두가지라며…</li><li>Rewards : 각 state마다 얼만큼의 reward 를 받는지</li><li>** The Model may be IMPERFECT</li><li>Grid Layout : Transition Model $P_{ss’}^{a}$</li><li>Numbers : Reward Model $R_s^{a}$</li></ol></li></ol><p><img src="/2023/06/04/20230604-rl-basic/Untitled05.png" alt="Untitled"></p><h3 id="3-6-Categorizing-RL-agents"><a href="#3-6-Categorizing-RL-agents" class="headerlink" title="3.6 Categorizing RL agents"></a>3.6 Categorizing RL agents</h3><p>[Category 1] : RL Components(RL 구성요소) 중 Policy 와 Value의 저장 여부에 따라 다음과 같이 나뉩니다.</p><ol><li>Value Based<ol><li>No Policy </li><li>Stores only Value Function</li></ol></li><li>Policy Based<ol><li>Stores only Policy</li><li>No Value Function</li></ol></li><li>Actor Critic : Will cover Soon<ol><li>Stores both Policy and</li><li>Value Function</li></ol></li></ol><p>[Category 2] : RL Components(RL 구성요소) 중 Model의 유무에 따라 다음과 같이 나뉩니다.</p><ol><li>Model Free<ol><li>Policy and&#x2F;or Value Function 의 유무는 크게 중요하지 않으나 (어느 하나라도 있으면 됨),</li><li>No Model</li></ol></li><li>Model Based<ol><li>Policy and&#x2F;or Value Function의 유무는 크게 중요하지 않으나 (어느 하나라도 있으면 됨),</li><li>Model</li></ol></li></ol><p><img src="/2023/06/04/20230604-rl-basic/Untitled06.png" alt="Untitled"></p><h2 id="4-Problems-within-Reinforcement-Learning"><a href="#4-Problems-within-Reinforcement-Learning" class="headerlink" title="4. Problems within Reinforcement Learning"></a>4. Problems within Reinforcement Learning</h2><h3 id="4-1-Reinforcement-Learning-Problem-amp-Plannning-Problem"><a href="#4-1-Reinforcement-Learning-Problem-amp-Plannning-Problem" class="headerlink" title="4.1  Reinforcement Learning Problem &amp; Plannning Problem"></a>4.1  Reinforcement Learning Problem &amp; Plannning Problem</h3><ul><li>Sequential Decision Making에서 2가지 Fundamental Problem이 있습니다.</li></ul><ol><li>Reinforcement Learning Problem<ol><li>Environment 에 대해 알지 못함 (Agent 는 아무것도 모른채 그냥 던져짐)</li><li>Agent 가 environment 와 상호작용을 함</li><li>이를 통해, Agent가 자신의 Policy를 발전시킴</li></ol></li><li>Planning Problem<ol><li>Environment 의 Model 을 알고 있음 ( Agent 가 이 model 을 보고, Environment 에 대한 정보를 가지고 던져짐)</li><li>Agent 는 위 Model 에 대해 computation 을 수행함 (그 어떤 다른 상호작용을 하지 않은채)</li><li>이를 통해, Agent가 자신의 Policy 를 발전시킴</li><li>aka deliberation (deliberative RL을 검색하니, 같은 hierarchy에 behavior-based architecture(행위 기반 에이전트구조), deliberative agent architecture(숙고형 에이전트 구조), hybrid agent architecture(혼합형 에이전트 구조)가 있으나, deliberation 이 어떤 것인지는 잘 모르겠습니다.) , reasoning, introspection, pondering, thought, search</li></ol></li></ol><p>Atari Game 에서 Reinforcement Learning Problem 으로 바라볼 때,</p><p><img src="/2023/06/04/20230604-rl-basic/Untitled07.png" alt="Untitled"></p><p>Atari Game 에서 Planning Problem 으로 바라볼 때, </p><p><img src="/2023/06/04/20230604-rl-basic/Untitled08.png" alt="Untitled"></p><ul><li><p>RL Problem  은 Agent의 Policy dependency 가 높다</p><p>  → Model 을 의식하지 않고, Agent를 발전시키는 방향</p></li><li><p>Planning Problem 은 Model dependency 가 높다</p><p>  → Model을 발전시키는 방향</p></li><li><p>결국 여기서, 얻을 수 있는 것은 같은 문제라 할지라도 우리가 문제정의를 어떻게 하느냐에 따라 Reinforcement Learning 연장을 사용할 때도 다양하게 해석되고, 다양한 문제 해결방식이 있는 것 같습니다.</p></li></ul><h3 id="4-2-Exploration-amp-Exploitation"><a href="#4-2-Exploration-amp-Exploitation" class="headerlink" title="4.2 Exploration &amp; Exploitation"></a>4.2 Exploration &amp; Exploitation</h3><ul><li>결국, RL 은 trial-and-error learning 입니다.</li><li>The agent 는 environment 에 대한 경험을 통해, Good Policy 를 찾고 발전시켜야합니다.</li><li>이 때의 제약 조건은 너무 오래 걸리지 않는 시간과 reward step이겠습니다.</li></ul><ol><li>Exploration : finds more information about the environment<ol><li>Environment 에 관해 아무것도 알지 못하므로, environment 를 파악하기 위한 정보를 수집합니다.</li></ol></li><li>Exploitation : exploits known information to maximise reward<ol><li>이미 알고 있는 정보 (Environment 에 관한 정보)를 바탕으로 reward를 최대화합니다.</li></ol></li></ol><p>아래 사진은 각 문제에 대해 Exploitation 관점과 Exploration 관점으로 살펴보았을 때의 그 문제 해결 방법이 달라지는 예시입니다.</p><p><img src="/2023/06/04/20230604-rl-basic/Untitled09.png" alt="Untitled"></p><h3 id="4-3-Prediction-and-Control"><a href="#4-3-Prediction-and-Control" class="headerlink" title="4.3 Prediction and Control"></a>4.3 Prediction and Control</h3><ul><li>Prediction : Evaluate the future<ul><li>Given a policy</li></ul></li><li>Control : Optimise the future<ul><li>Find the best policy</li></ul></li><li>Agent 를 비롯한 RL system은 결국 Prediction 에서 Control 방향으로 넘어가는 개발단계를 취할 수 있습니다.</li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/DataScience/">DataScience</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Reinforcement-Learning/">Reinforcement Learning</category>
      
      
      <comments>https://emjayahn.github.io/2023/06/04/20230604-rl-basic/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Study] Markov Decision Process</title>
      <link>https://emjayahn.github.io/2023/05/21/20230521-markov/</link>
      <guid>https://emjayahn.github.io/2023/05/21/20230521-markov/</guid>
      <pubDate>Sun, 21 May 2023 11:08:39 GMT</pubDate>
      
      <description>&lt;p&gt;본 글은 David Silver의 강의를 듣고서 정리한 글이다. 매우 오래 전에 공부한 마코프 이론을 다시 한 번 상기시키기 위해 기초 강의와 함께 꼼꼼히 정리하면서 상기시켰다. &lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>본 글은 David Silver의 강의를 듣고서 정리한 글이다. 매우 오래 전에 공부한 마코프 이론을 다시 한 번 상기시키기 위해 기초 강의와 함께 꼼꼼히 정리하면서 상기시켰다. </p><span id="more"></span><h2 id="1-Markov-Processes"><a href="#1-Markov-Processes" class="headerlink" title="1. Markov Processes"></a>1. Markov Processes</h2><h3 id="1-1-Introduction-to-MDPs"><a href="#1-1-Introduction-to-MDPs" class="headerlink" title="1.1 Introduction to MDPs"></a>1.1 Introduction to MDPs</h3><ul><li>Markov decision processes : 강화학습에서 Environment 를 묘사하는 방법</li><li>이 때, MDP 로 묘사하는 경우, environment 는 관측이 가능한 environment 인 상태입니다. (fully observable)</li><li>대부분의 RL problem은 MDP 로 표현이 가능합니다.<ul><li>Optimal control → continuous MDPs</li><li>Partially observalble problems → MDPs</li><li>Bandits → MDPs with one state</li><li>즉, 모든 RL problem의 기본원리를 이해한다면, MDP로 표현할 수 있다는 것을 확인할 수 있습니다.</li></ul></li></ul><h3 id="1-2-Markov-Property"><a href="#1-2-Markov-Property" class="headerlink" title="1.2 Markov Property"></a>1.2 Markov Property</h3><ul><li>The future is independent of the past given the present &#x3D; 미래는 현재에만 종속적이며, 그 이전의 과거와는 독립적입니다.</li></ul><p>$$<br>P[S_{t+1}|S_t] &#x3D; P[S_{t+1}|S1, …, S_{t}]<br>$$</p><h3 id="1-3-State-Transition-Matrix"><a href="#1-3-State-Transition-Matrix" class="headerlink" title="1.3 State Transition Matrix"></a>1.3 State Transition Matrix</h3><ul><li>current state $s$, successor state $s’$, the state transition probability $P_{ss’}$<ul><li>$P_{ss’}$는 현재  s state 에서 $s_{t+1}&#x3D;s’$ 으로 변이 되는 조건부 확률</li></ul></li></ul><p>$$<br>P_{ss’}&#x3D;P[S_{t+1}&#x3D;s’|S_{t}&#x3D;s]<br>$$</p><ul><li>State transition matrix $P$ : 위의 transition probability 를 모든 s → s’ 에 대해 모아 놓은 행렬<ul><li>transition probability matrix</li></ul></li></ul><p>$$<br>P &#x3D; \begin{matrix}P_{11}…P_{1n}\.\.\.\P_{n1}…P_{nn}\end{matrix}<br>$$</p><p>$P_{1n}$ : 현재 state 1에서 → Next state n로 전이되는 확률</p><p>따라서, 각 행(row)의 합은 1이다. P11 + … + P1n &#x3D; 1, state 1에서 다른 state 로 뻗어나가는 확률은 한번에 한 경우의 수밖에 없으므로 모든 경우의 확률의 합은 1입니다.</p><h3 id="1-4-Markov-Process"><a href="#1-4-Markov-Process" class="headerlink" title="1.4 Markov Process"></a>1.4 Markov Process</h3><ul><li>Markov process 는 <strong>memoryless</strong> random process</li><li>Markov Process (or Markov Chain) 는 &lt;S, P&gt; 로 표현합니다.<ul><li>S 는 유한한 state 들의 집합입니다. (finite set of states)</li><li>P 는  transition probability matrix</li></ul></li></ul><h3 id="1-5-Example-of-Markov-Chain"><a href="#1-5-Example-of-Markov-Chain" class="headerlink" title="1.5 Example of Markov Chain"></a>1.5 Example of Markov Chain</h3><p><img src="/2023/05/21/20230521-markov/Untitled.png" alt="Untitled"></p><p>아래 그림에서 처럼, Class 2 State 에서 다음 state 로 넘어갈 확률 0.2, 0.8 을 오른쪽 transition probability matrix 에서 확인 할 수 있습니다. state 2 → state 3 으로 가는 확률 0.8, state 2 → state sleep 0.2 를 확인 할 수 있습니다.</p><p><img src="/2023/05/21/20230521-markov/Untitled01.png" alt="Untitled"></p><h2 id="2-Markov-Reward-Processes"><a href="#2-Markov-Reward-Processes" class="headerlink" title="2. Markov Reward Processes"></a>2. Markov Reward Processes</h2><h3 id="2-1-MRP-Markov-Reward-Process"><a href="#2-1-MRP-Markov-Reward-Process" class="headerlink" title="2.1 MRP: Markov Reward Process"></a>2.1 MRP: Markov Reward Process</h3><ul><li>MRP란? Markov chain 에 VALUE 가 더해진 chain</li></ul><p>Expression: Markov Reward Process → &lt;S, P, R, $\gamma$&gt;</p><ul><li><p>S : states set</p></li><li><p>P: transition probability matrix</p><p>  $P_{ss’}&#x3D;P[S_{t+1}&#x3D;s’|S_{t}&#x3D;s]$</p></li><li><p>R: reward function , $R_{s}&#x3D;E[R_{t+1}|S_{t}&#x3D;s]$</p></li><li><p>$\gamma$: discount factor, 0≤$\gamma$≤1</p></li></ul><h3 id="2-2-Return"><a href="#2-2-Return" class="headerlink" title="2.2 Return"></a>2.2 Return</h3><p>$$<br>G_{t }&#x3D;R_{t+1}+\gamma R_{t+2} + … &#x3D; \Sigma_{k&#x3D;0}^{inf} \gamma ^k R_{t+k+1}<br>$$</p><ul><li><p>return Gt는 현재 t 에서부터, 모든 discount 된 reward 의 합입니다.</p></li><li><p>return 과 reward 헷갈리지 말아야합니다! return 은 지금부터 미래까지 합 (단, discount 그 의미는 수학적 계산편의도 있지만, 미래에 가중치를 얼마나 두느냐의 문제도 있습니다), reward 는 현재 state 와 action 이 환경으로 받은 값</p></li><li><p>왜 DISCOUNT 하는가?</p></li></ul><p><img src="/2023/05/21/20230521-markov/Untitled02.png" alt="Untitled"></p><h3 id="2-3-Value-Function"><a href="#2-3-Value-Function" class="headerlink" title="2.3 Value Function"></a>2.3 Value Function</h3><ul><li>Value Function : $v(s)$ -“ total reward we will get. This is the value we care about “<ul><li>RL 에서 우리가 신경써야하는 최종 형태의 total reward function</li></ul></li></ul><p>$$<br>v(s)&#x3D;E[G_{t}|S_{t}&#x3D;s]<br>$$</p><ul><li>Example:</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled03.png" alt="Untitled"></p><h3 id="2-4-Bellman-Equation-for-MRPs"><a href="#2-4-Bellman-Equation-for-MRPs" class="headerlink" title="2.4 Bellman Equation for MRPs"></a>2.4 Bellman Equation for MRPs</h3><ul><li>Value Function 은 다음과 같이 쪼개 질 수 있다.<ul><li>immediate reward $R_{t+1}$</li><li>discounted value of successor state $\gamma v(S_{t+1})$</li><li>지금 현재 state 에서의 reward(immediate reward) + 미래의 value(value where agent end up)</li></ul></li><li>$v(s) &#x3D; R_{t+1}+\gamma v(S_{t+1})$</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled04.png" alt="Untitled"></p><ul><li>Q) 왜 R index 가 t+1 인가? : agent 와 environment 사이에서의 경계문제. agent 가 environment 에서 활동하는 순간 time stamp 가 지나게 됨. agent 의 액션이후 environment  로부터 영향을 받고 나오면 time stamp 가 그 다음으로 찍히는걸로 정의하기에, R t+1 이라 indexing  하게됨. 추후 강의에서 더 자세히 설명. just convention</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled05.png" alt="Untitled"></p><h3 id="2-5-Bellman-Equation-in-Matrix-Form"><a href="#2-5-Bellman-Equation-in-Matrix-Form" class="headerlink" title="2.5 Bellman Equation in Matrix Form"></a>2.5 Bellman Equation in Matrix Form</h3><ul><li>위 식을 Matrix 형태로 표현 한 것입니다.</li><li>아래의 식은 각각 Vector 라고 생각합니다</li></ul><p>$$<br>v &#x3D; R +\gamma Pv<br>$$</p><p>, where v &#x3D; [v(1) … v(n)], R &#x3D; [R1 … Rn] , P  &#x3D; [P11 .. P1n … P11 Pnn] (matrix)</p><p><img src="/2023/05/21/20230521-markov/Untitled06.png" alt="Untitled"></p><ul><li>Bellman Equation 을 풀기 위해서는, 실제 작은 사이즈에서는 linear equation 을 풀기 쉽지만, 큰 규모의 문제에서 실제로는 iterative methods 를 사용한다.<ul><li>Dynamic programming</li><li>Monte-Carlo evaluation</li><li>Temporal-Difference learning</li></ul></li></ul><h3 id="2-6-Solving-the-Bellman-Equation"><a href="#2-6-Solving-the-Bellman-Equation" class="headerlink" title="2.6 Solving the Bellman Equation"></a>2.6 Solving the Bellman Equation</h3><ul><li>식 자체를 푸는 것은 어렵지 않다. linear equation. 손으로 풀기엔.. 그리고 연산장치를 이용한 연산 역시 작은 사이즈에선 문제되지 않는다. 다만, 사이즈가 크면 클수록 가장 마지막 식의 역행렬을 구할때 연산량이 많이 필요하다. 따라서 다른 방법이 필요하다.</li></ul><p>$$<br>v&#x3D;R+\gamma Pv \ (I-\gamma P)v &#x3D; R  \ v &#x3D; (I-\gamma P)^{-1}R<br>$$</p><ul><li>Computation을 위해선 세가지 iterative한 방법을 사용한다<ul><li>Dynamic Programming</li><li>Monte-Carlo Evaluation</li><li>Temporal-Difference Learning</li><li>위 세가지의 자세한 내용은 추후에 등장 예정</li></ul></li></ul><h2 id="3-Markov-Decision-Processes"><a href="#3-Markov-Decision-Processes" class="headerlink" title="3. Markov Decision Processes"></a>3. Markov Decision Processes</h2><ul><li>MDP가 실제로 우리가 RL 에서 자주 사용될 개념 “Actually Use in RL”</li><li>MDP Expression: Markov Decision Process → &lt;S, A, P, R, $\gamma$&gt;</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled07.png" alt="Untitled"></p><h3 id="3-1-Policy"><a href="#3-1-Policy" class="headerlink" title="3.1 Policy"></a>3.1 Policy</h3><ul><li>Policy 정의: Policy $\pi$는 주어진 현재 state 에서 Action 에 대한 분포이다.(한국말이 더 어렵기에, distribution over actions given states)</li></ul><p>$$<br>\pi (a|s) &#x3D; P[A_{t}&#x3D;a | S_{t}&#x3D;s]<br>$$</p><ul><li>Policy 는 agent 의 행동을 결정한다.</li><li>Policy 는 현재 state (current state)에 영향을 받는다(depend on current state, not history)</li><li>Policy 는 Stationary 라 가정한다.(time-independent)</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled08.png" alt="Untitled"></p><ul><li>MDP M &#x3D; &lt;S, A, P, R, $\gamma$ &gt;, Policy &#x3D; $\pi$ 일 때,<ul><li><p>State sequnce S1, S2, S3 … : &lt;S, $P^{\pi}$&gt; 는 Markov Process</p></li><li><p>State and Reward Sequence S1, R2, S2, R2 … : &lt;S, $P^{\pi}, R^{\pi}, \gamma$&gt;는 Markov Reward Process</p></li><li><p>where P와 R은 다음과 같다</p><p>  <img src="/2023/05/21/20230521-markov/Untitled09.png" alt="Untitled"></p></li></ul></li></ul><h3 id="3-2-Value-Function"><a href="#3-2-Value-Function" class="headerlink" title="3.2 Value Function"></a>3.2 Value Function</h3><ul><li>Value function 과 Action-Value function<ul><li>value fuction: how good in policy with state s</li><li>action-value function: how good in policy with state s, action a</li></ul></li></ul><p><img src="/2023/05/21/20230521-markov/Untitled10.png" alt="Untitled"></p><h3 id="3-3-Bellman-Expectation-Equation"><a href="#3-3-Bellman-Expectation-Equation" class="headerlink" title="3.3 Bellman Expectation Equation"></a>3.3 Bellman Expectation Equation</h3><p><img src="/2023/05/21/20230521-markov/Untitled11.png" alt="Untitled"></p><p><strong>이 뒷 내용부터는 실질적으로 Equation 과 State Diagram 등이 피부에 와닿지는 않는다. 실제로 강의가 진행되면서 application 이나 본 내용이 담긴 problem을 직접 만나보고, 각 경우가 이것을 의미했던 것이구나 하며 feedback 이 있어야 더욱 잘 이해될 내용들이라고 생각된다</strong></p><h3 id="3-4-Bellman-Expectation-Equation-for-V-pi"><a href="#3-4-Bellman-Expectation-Equation-for-V-pi" class="headerlink" title="3.4 Bellman Expectation Equation for $V^{\pi}$"></a>3.4 Bellman Expectation Equation for $V^{\pi}$</h3><ul><li>이 지점에서 Policy 역시 Distribution 혹은 Process(Sequence)의 형태로 개념을 확장해 간다. 다만 위의 value function 에 대한 정의에서 크게 벗어나지 않으며, 전체 state과 action 에 dependent 하다.</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled12.png" alt="Untitled"></p><h3 id="3-5-Bellman-Expectation-Equation-for-Q-pi"><a href="#3-5-Bellman-Expectation-Equation-for-Q-pi" class="headerlink" title="3.5 Bellman Expectation Equation for $Q^{\pi}$"></a>3.5 Bellman Expectation Equation for $Q^{\pi}$</h3><p><img src="/2023/05/21/20230521-markov/Untitled13.png" alt="Untitled"></p><h3 id="3-6-Bellman-Expectation-Equation-for-v-pi"><a href="#3-6-Bellman-Expectation-Equation-for-v-pi" class="headerlink" title="3.6 Bellman Expectation Equation for $v_{\pi}$"></a>3.6 Bellman Expectation Equation for $v_{\pi}$</h3><p><img src="/2023/05/21/20230521-markov/Untitled14.png" alt="Untitled"></p><h3 id="3-7-Bellman-Expectation-Equation-for-q-pi"><a href="#3-7-Bellman-Expectation-Equation-for-q-pi" class="headerlink" title="3.7 Bellman Expectation Equation for $q_{\pi}$"></a>3.7 Bellman Expectation Equation for $q_{\pi}$</h3><p><img src="/2023/05/21/20230521-markov/Untitled15.png" alt="Untitled"></p><h3 id="3-8-Bellman-Expectation-Equation-Matrix-Form"><a href="#3-8-Bellman-Expectation-Equation-Matrix-Form" class="headerlink" title="3.8 Bellman Expectation Equation (Matrix Form)"></a>3.8 Bellman Expectation Equation (Matrix Form)</h3><ul><li>Bellman expectation equation 역시, 다음과 같이 표현될 수 있고, 이에 관한 풀이법 역시 linear equation 이다.</li></ul><p>$$<br>v_{\pi}&#x3D;R^{\pi} + \gamma P^{\pi}v_{\pi}<br>$$</p><p>$$<br>v_{\pi}&#x3D;(I-\gamma P^{\pi})^{-1}R^{\pi}<br>$$</p><h3 id="3-9-Optimal-Value-Function"><a href="#3-9-Optimal-Value-Function" class="headerlink" title="3.9 Optimal Value Function"></a>3.9 Optimal Value Function</h3><ul><li>optimal state-value function 은 모든 policy 에 대해서 maximum value function 을 찾는 문제이다</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled16.png" alt="Untitled"></p><ul><li>optimal action-value function 역시 모든 policy 에 대해서 maximum action-value function 을 찾는 문제이다.</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled17.png" alt="Untitled"></p><ul><li>Optimal value function 은 MDP에서 best possible performance 를 찾는 문제라고 볼수 있다.</li><li>즉, MDP is “SOLVED” when we know the optimal value function (q*, v*)</li></ul><h3 id="3-9-Optimal-Policy"><a href="#3-9-Optimal-Policy" class="headerlink" title="3.9 Optimal Policy"></a>3.9 Optimal Policy</h3><ul><li>Optimal Policy 문제는, Best Action to MDP 를 찾는 문제이다.</li></ul><p><img src="/2023/05/21/20230521-markov/Untitled18.png" alt="Untitled"></p><p><img src="/2023/05/21/20230521-markov/Untitled19.png" alt="Untitled"></p><h3 id="3-10-Finding-an-Optimal-Policy"><a href="#3-10-Finding-an-Optimal-Policy" class="headerlink" title="3.10 Finding an Optimal Policy"></a>3.10 Finding an Optimal Policy</h3><p><img src="/2023/05/21/20230521-markov/Untitled20.png" alt="Untitled"></p><h3 id="3-11-Bellman-Optimality-Equation-for-v"><a href="#3-11-Bellman-Optimality-Equation-for-v" class="headerlink" title="3.11 Bellman Optimality Equation for $v_{*}$"></a>3.11 Bellman Optimality Equation for $v_{*}$</h3><p><img src="/2023/05/21/20230521-markov/Untitled21.png" alt="Untitled"></p><h3 id="3-12-Bellman-Optimality-Equation-for-Q"><a href="#3-12-Bellman-Optimality-Equation-for-Q" class="headerlink" title="3.12 Bellman Optimality Equation for $Q^{*}$"></a>3.12 Bellman Optimality Equation for $Q^{*}$</h3><p><img src="/2023/05/21/20230521-markov/Untitled22.png" alt="Untitled"></p><h3 id="3-13-Bellman-Optimality-Equation-for-V"><a href="#3-13-Bellman-Optimality-Equation-for-V" class="headerlink" title="3.13 Bellman Optimality Equation for V*"></a>3.13 Bellman Optimality Equation for V*</h3><p><img src="/2023/05/21/20230521-markov/Untitled23.png" alt="Untitled"></p><h3 id="3-14-Bellman-Optimality-Equation-for-Q"><a href="#3-14-Bellman-Optimality-Equation-for-Q" class="headerlink" title="3.14 Bellman Optimality Equation for Q*"></a>3.14 Bellman Optimality Equation for Q*</h3><p><img src="/2023/05/21/20230521-markov/Untitled24.png" alt="Untitled"></p><h3 id="3-15-Solving-the-Bellman-Optimality-Equation"><a href="#3-15-Solving-the-Bellman-Optimality-Equation" class="headerlink" title="3.15 Solving the Bellman Optimality Equation"></a>3.15 Solving the Bellman Optimality Equation</h3><ul><li>Bellman Optimality Equation 은 Non-linear 이다</li><li>따라서 Closed Form Solution 이 없다</li><li>이 역시 iterative solution 이 그 해법<ul><li>Value Iteration</li><li>Policy Iteration</li><li>Q-learning</li><li>Sarsa</li></ul></li><li>위 solution 의 각 내용 역시, 추후 강의에서 진행되리라 기대한다.</li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/DataScience/">DataScience</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Markov/">Markov</category>
      
      <category domain="https://emjayahn.github.io/tags/Markov-Decision-Process/">Markov Decision Process</category>
      
      
      <comments>https://emjayahn.github.io/2023/05/21/20230521-markov/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[FastAPI] FastAPI 입문 part2 - CRUD 어플리케이션 만들기</title>
      <link>https://emjayahn.github.io/2023/05/07/20230424-fast-api-2/</link>
      <guid>https://emjayahn.github.io/2023/05/07/20230424-fast-api-2/</guid>
      <pubDate>Sun, 07 May 2023 12:29:05 GMT</pubDate>
      
      <description>&lt;p&gt;지난 part1에서 FastAPI를 활용해 간단한 “hello world”와 “routing”을 살펴보았다. 이번 글에서는 CRUD 기능을 수행하는 간단한 어플리케이션을 만들어보면서 FastAPI 프레임워크에 친숙해져보자.&lt;/p&gt;
&lt;p&gt;아래의 실습 과정은 지난 part1 글에서 이어서 해보는 것이므로, 앞의 글을 먼저 읽고 따라해보면 좋겠다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>지난 part1에서 FastAPI를 활용해 간단한 “hello world”와 “routing”을 살펴보았다. 이번 글에서는 CRUD 기능을 수행하는 간단한 어플리케이션을 만들어보면서 FastAPI 프레임워크에 친숙해져보자.</p><p>아래의 실습 과정은 지난 part1 글에서 이어서 해보는 것이므로, 앞의 글을 먼저 읽고 따라해보면 좋겠다.</p><span id="more"></span><p>🖐🏻!여기서 잠깐!🖐🏻</p><p>CRUD 를 간단하게 설명하자면, C: Create(생성), R: Read(읽기), U: Update(갱신), Delete(삭제)를 일컫는 말이다. API 를 구축할 때 사용자 혹은 클라이언트가 요구하는 기본적인 기능이라고 이해하면 좋겠다.</p><h2 id="1-Alarm-어플리케이션-만들기"><a href="#1-Alarm-어플리케이션-만들기" class="headerlink" title="1. Alarm 어플리케이션 만들기"></a>1. Alarm 어플리케이션 만들기</h2><p>지금부터 우리가 까먹기 쉽고 상기시켜야 하는 알람들의 리스트를 보여주고, 추가하는 기능을 갖고 있는 어플리케이션을 만들어보려고 한다. 먼저 지난 part1에서 만들었던 <a href="http://main.py/"><code>main.py</code></a>와 <code>routers/new_router.py</code>에 코드를 추가하는 형태로 이어가보려고 한다. 먼저 new_router.py에 다음과 같은 코드를 추가하자.</p><h3 id="1-1-새로운-router-추가"><a href="#1-1-새로운-router-추가" class="headerlink" title="1-1. 새로운 router 추가"></a>1-1. 새로운 router 추가</h3><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># routers/new_router.py</span></span><br><span class="line"></span><br><span class="line">alarm_list = []</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.get(<span class="params"><span class="string">&quot;/alarm&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">show_alarm</span>() -&gt; <span class="built_in">dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;alarms&quot;</span>: alarm_list</span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.post(<span class="params"><span class="string">&quot;/alarm&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">add_alarm</span>(<span class="params">alarm: <span class="built_in">dict</span></span>) -&gt; <span class="built_in">dict</span>:</span><br><span class="line">    alarm_list.append(alarm)</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Your ALARM added successfully.&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><p>위 코드를 살펴보면, 먼저 전역 alarm_list라는 빈 리스트를 실행해주고, 한 개의 GET 메서드와 POST 메서드를 만들어 준다. </p><p>GET메서드의 코드부터 살펴보면, uri(<code>/alarm</code>)가 GET 메서드로 들어오면, (우리가 미리 작성했던 코드에서 주의할 점은 우리는 <code>new_router.py</code>를 만들 때, prefix&#x3D;”&#x2F;new” 라고 주었다. 따라서 전체 uri는 &#x2F;new&#x2F;alarm이 되겠다.) 아래의 <code>show_alarm()</code>이 실행된다. 이 함수는 우리가 미리 선언해 두었던 <code>alarm_list</code>를 반환하는 함수이다.</p><p>POST메서드의 코드를 살펴보면, uri(<code>/alarm</code>)가 POST 메서드로 들어오면, 아래의 <code>add_alarm()</code> 함수가 실행된다. 이 함수는 인자로 받은 <code>alarm</code>을 <code>alram_list</code>에 추가하고, 성공적으로 추가 되었다는 메시지까지 반환하는 함수이다.</p><h3 id="1-2-테스트-해보기"><a href="#1-2-테스트-해보기" class="headerlink" title="1-2. 테스트 해보기"></a>1-2. 테스트 해보기</h3><p>여기까지 작성한 코드를 테스트 해 보자.</p><p>다음의 명령어로 우리의 어플리케이션을 실행해보자.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">uvicorn main:app --port 8080 --reload</span><br></pre></td></tr></table></figure><p>새롭게 만든 uri 로 테스트하기 위해 다음의 명령어를 사용한다. 먼저 GET 메소드에 대해서는,</p><p>(1) GET 메소드 테스트 명령어</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;GET&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span></span><br></pre></td></tr></table></figure><p><img src="/2023/05/07/20230424-fast-api-2/Untitled.png" alt="Untitled"></p><p>아직 우리의 alarm_list에 추가된 것이 없으므로 빈 리스트로 나오는 것이 당연하다.</p><p>(2) POST 메소드 테스트 명령어</p><p>이제 다음의 명령어를 통해 우리의 alarm_list에 새로운 데이터를 추가해보자.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;POST&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;id&quot;: 1, &quot;alarm&quot;: &quot;You pushed the first alarm in your list!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><p><img src="/2023/05/07/20230424-fast-api-2/Untitled_01.png" alt="Untitled"></p><p>성공적으로 추가된 뒤에 다시 (1)의 GET메소드를 실행해보면, 처음과는 다르게 방금 추가한 메시지가 출력되는 것을 확인 할 수 있다.</p><p>이렇게 우리는 CRUD 중 C, R을 수행하는 기능을 만들어 보았다.</p><h2 id="2-데이터-검증-pydantic"><a href="#2-데이터-검증-pydantic" class="headerlink" title="2. 데이터 검증 : pydantic"></a>2. 데이터 검증 : pydantic</h2><p>데이터를 수정하고 지우는 것은 API, 어플리케이션 입장에서는 매우 critical 한 기능이다. 서버를 운영하고 개발하는 입장에서는 수집된 데이터를 변경하거나 삭제하는 액션이 실행되기 때문이다. 따라서 우리는 수정하려고 하는 새로운 데이터가 기존 형식에 알맞게 수정되거나 삭제되는지 검증해야한다. 이 작업은 python 에서는 “Pydantic”이라고 하는 편한 라이브러리를 이용해 해당 데이터를 검증한다.</p><h3 id="2-1-모델-세우기"><a href="#2-1-모델-세우기" class="headerlink" title="2-1. 모델 세우기."></a>2-1. 모델 세우기.</h3><p>Web Application 에서 데이터가 어떻게 구성되고 처리되어야 하는지 미리 선언해 놓는 것을 모델이라고 한다. 우리 어플리케이션에도 <a href="http://model.py/"><code>model.py</code></a>를 만들고 해당 파일에 다음과 같이 작성하자.</p><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># model.py</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">from</span> pydantic <span class="keyword">import</span> BaseModel</span><br><span class="line"></span><br><span class="line"><span class="keyword">class</span> <span class="title class_">Alarm</span>(<span class="title class_ inherited__">BaseModel</span>):</span><br><span class="line">    <span class="built_in">id</span>: <span class="built_in">int</span></span><br><span class="line">    alarm: <span class="built_in">str</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">class</span> <span class="title class_">AlarmData</span>(<span class="title class_ inherited__">BaseModel</span>):</span><br><span class="line">    alarm: <span class="built_in">str</span></span><br></pre></td></tr></table></figure><p>우리가 다룰 Alarm이라는 클래스는 id 와 alarm이라는 내용으로 구성되고 이 형식에 맞게 데이터가 들어와야 한다는 것이다. 그 아래 AlarmData는 뒤이어 데이터 업데이트 부분에서 활용될 내용이다. 수정할 데이터가 str 형식으로 들어와야 됨을 의미한다.</p><h3 id="2-2-model-py를-활용한-코드-수정"><a href="#2-2-model-py를-활용한-코드-수정" class="headerlink" title="2-2. model.py를 활용한 코드 수정"></a>2-2. model.py를 활용한 코드 수정</h3><p>위에 <a href="http://model.py/">model.py</a> 를 만들었으면 우리의 라우터에도 해당 데이터 검증 작업이 추가 될 수 있도록 코드를 수정하자. 먼저 데이터가 가장 먼저 추가 되는 @router.post(”&#x2F;alarm”)부분의 함수 add_alarm(alarm: Alarm) 이다.</p><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">@router.post(<span class="params"><span class="string">&quot;/alarm&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">add_alarm</span>(<span class="params">alarm: Alarm</span>) -&gt; <span class="built_in">dict</span>:</span><br><span class="line">    alarm_list.append(alarm)</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Your ALARM added successfully.&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><p>이렇게 되면 POST 되어 전달되는 데이터가 우리가 미리 작성해둔 모델(Alarm)의 id, alarm 이 각각 int이고 string 인지 검증하고 실행되게 된다.</p><h2 id="3-데이터-수정"><a href="#3-데이터-수정" class="headerlink" title="3. 데이터 수정"></a>3. 데이터 수정</h2><h3 id="3-1-새로운-router-추가"><a href="#3-1-새로운-router-추가" class="headerlink" title="3-1. 새로운 router 추가"></a>3-1. 새로운 router 추가</h3><p>새로운 라우터를 추가하여 우리가 가지고 있는 alarm_list의 데이터를 수정해보자.</p><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">@router.put(<span class="params"><span class="string">&quot;/alarm/&#123;alarm_id&#125;&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">update_alarm</span>(<span class="params">alarm_data: AlarmData, alarm_id: <span class="built_in">int</span>=Path(<span class="params">..., title=<span class="string">&quot;ID to be updated&quot;</span></span>)</span>) -&gt; <span class="built_in">dict</span>:</span><br><span class="line">    <span class="keyword">for</span> each_alarm <span class="keyword">in</span> alarm_list:</span><br><span class="line">        <span class="keyword">if</span> each_alarm.<span class="built_in">id</span> == alarm_id:</span><br><span class="line">            each_alarm.alarm = alarm_data.alarm</span><br><span class="line">            <span class="keyword">return</span> &#123;</span><br><span class="line">                <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Your Alarm is successfully updated.&quot;</span></span><br><span class="line">            &#125;</span><br><span class="line">        </span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;The ID which you gave doesn&#x27;t exist.&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><p>PUT 메소드로 <code>/alarm/alarm_id</code> 형태로 uri 가 전달 되면, 아래의 <code>update_alarm()</code> 함수가 실행된다. <code>update_alarm</code> 함수는 <code>alarm_data</code>와  변경하고자 하는 <code>alarm_id</code> 를 인자로 받는다. 그리고 아래의 로직은 우리가 미리 갖고 있던 <code>alarm_list</code>를 순서대로 조회하며 인자로 주어진 <code>alarm_id</code> 가 우리의 리스트에 존재한다면 alarm 데이터를 변경하는 것이다.</p><h3 id="3-2-테스트-해보기"><a href="#3-2-테스트-해보기" class="headerlink" title="3-2. 테스트 해보기"></a>3-2. 테스트 해보기</h3><p>먼저 위와 동일하게 서버를 실행해주고, 새로운 데이터 2개 를 추가한다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;POST&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;id&quot;: 1, &quot;alarm&quot;: &quot;You pushed the first alarm in your list!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;POST&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;id&quot;: 2, &quot;alarm&quot;: &quot;You pushed the second alarm in your list!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><p>다음의 명령어로 첫번째로 추가한 데이터를 수정해보자.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;PUT&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm/1&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;alarm&quot;: &quot;Your first Item is changed with this updated ONE!!!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><p>수정한 뒤에 GET 메소드 테스트 명령어를 수행해 데이터가 잘 수정되었는지 확인해보자.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;GET&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span></span><br></pre></td></tr></table></figure><p><img src="/2023/05/07/20230424-fast-api-2/Untitled_02.png" alt="Untitled"></p><h2 id="4-데이터-삭제"><a href="#4-데이터-삭제" class="headerlink" title="4. 데이터 삭제"></a>4. 데이터 삭제</h2><h3 id="4-1-새로운-router-추가"><a href="#4-1-새로운-router-추가" class="headerlink" title="4-1. 새로운 router 추가"></a>4-1. 새로운 router 추가</h3><p>마지막으로 삭제에 대한 기능을 추가해보자. 다음과 같이 router에 추가한다.</p><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">@router.delete(<span class="params"><span class="string">&quot;/alarm/&#123;alarm_id&#125;&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">delete_alarm</span>(<span class="params">alarm_id: <span class="built_in">int</span></span>) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">for</span> each_index <span class="keyword">in</span> <span class="built_in">range</span>(<span class="built_in">len</span>(alarm_list)):</span><br><span class="line">        alarm = alarm_list[each_index]</span><br><span class="line">        <span class="keyword">if</span> alarm.<span class="built_in">id</span> == alarm_id:</span><br><span class="line">            alarm_list.pop(each_index)</span><br><span class="line">            <span class="keyword">return</span> &#123;</span><br><span class="line">                <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Alarm is successfully deleted.&quot;</span></span><br><span class="line">            &#125;</span><br><span class="line">        </span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;The ID which you gave doesn&#x27;t exist.&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><p>로직은 간단하다. 전달된 id 값과 기존에 alarm_list 의 id 가 같으면 해당 데이터를 리스트에서 삭제하는 것이다.</p><h3 id="4-2-테스트-해보기"><a href="#4-2-테스트-해보기" class="headerlink" title="4-2.  테스트 해보기."></a>4-2.  테스트 해보기.</h3><p>먼저 위와 동일하게 서버를 실행해주고, 새로운 데이터 2개 를 추가한다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;POST&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;id&quot;: 1, &quot;alarm&quot;: &quot;You pushed the first alarm in your list!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;POST&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span> -H <span class="string">&#x27;Content-Type: application/json&#x27;</span> -d <span class="string">&#x27;&#123;&quot;id&quot;: 2, &quot;alarm&quot;: &quot;You pushed the second alarm in your list!&quot;&#125;&#x27;</span></span><br></pre></td></tr></table></figure><p>첫번째 데이터를 삭제해보자.</p><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;DELETE&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm/1&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span></span><br></pre></td></tr></table></figure><p>삭제한 뒤에 GET 메소드 테스트 명령어를 수행해 데이터가 잘 수정되었는지 확인해보자.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">curl -X <span class="string">&#x27;GET&#x27;</span> <span class="string">&#x27;http://localhost:8080/new/alarm&#x27;</span> -H <span class="string">&#x27;accept: application/json&#x27;</span></span><br></pre></td></tr></table></figure><p><img src="/2023/05/07/20230424-fast-api-2/Untitled_03.png" alt="Untitled"></p><h2 id="5-정리하기"><a href="#5-정리하기" class="headerlink" title="5. 정리하기"></a>5. 정리하기</h2><p>이번 글에서는 Pydantic을 통한 데이터 검증 방법과 CRUD 어플리케이션을 만들어보면서 FastAPI 프레임워크에 한단계 친숙해지는 실습을 해보았다. 글을 다시 한 번 돌이켜보면, 우리가 기능을 추가할 때 하는 행동은 간단하다. 단지 Router 만 추가하면 되는 것이다! 어떤 uri (trigger)가 왔을 때, 어떤 동작을 하게끔 하는 것이 router이다. 이 router가 동작하게끔 하기 위해 부수적인 model과 pydantic 등의 기능을 추가하기만 하면 된다. 마지막으로, 오늘의 실습이 잘 동작하지 않는 사람들 위해 우리가 실습한 파일 디렉토리 구조와 main, model, router 코드 전체를 첨부하며 이번 글을 마무리 한다.</p><h3 id="5-0-tree"><a href="#5-0-tree" class="headerlink" title="5-0. tree"></a>5-0. tree</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line">./my_first_app</span><br><span class="line">├── main.py</span><br><span class="line">├── model.py</span><br><span class="line">└── routers</span><br><span class="line">    └── new_router.py</span><br></pre></td></tr></table></figure><h3 id="5-1-main-py"><a href="#5-1-main-py" class="headerlink" title="5-1. main.py"></a>5-1. main.py</h3><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># main.py</span></span><br><span class="line"><span class="keyword">from</span> fastapi <span class="keyword">import</span> FastAPI</span><br><span class="line"><span class="keyword">from</span> typing <span class="keyword">import</span> <span class="type">Dict</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">from</span> routers.new_router <span class="keyword">import</span> router</span><br><span class="line"></span><br><span class="line">app = FastAPI()</span><br><span class="line"></span><br><span class="line">app.include_router(router)</span><br><span class="line"></span><br><span class="line"><span class="meta">@app.get(<span class="params"><span class="string">&quot;/&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">helloworld</span>() -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Hello World&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><h3 id="5-2-new-router-py"><a href="#5-2-new-router-py" class="headerlink" title="5-2. new_router.py"></a>5-2. new_router.py</h3><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br><span class="line">50</span><br><span class="line">51</span><br><span class="line">52</span><br><span class="line">53</span><br><span class="line">54</span><br><span class="line">55</span><br></pre></td><td class="code"><pre><span class="line"><span class="keyword">from</span> fastapi <span class="keyword">import</span> APIRouter, Path</span><br><span class="line"><span class="keyword">from</span> typing <span class="keyword">import</span> <span class="type">Dict</span></span><br><span class="line"><span class="keyword">from</span> model <span class="keyword">import</span> Alarm, AlarmData</span><br><span class="line"></span><br><span class="line">router = APIRouter(</span><br><span class="line">    prefix=<span class="string">&quot;/new&quot;</span></span><br><span class="line">)</span><br><span class="line"></span><br><span class="line">alarm_list = []</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.get(<span class="params"><span class="string">&quot;/alarm&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">show_alarm</span>() -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;alarms&quot;</span>: alarm_list</span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.post(<span class="params"><span class="string">&quot;/alarm&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">add_alarm</span>(<span class="params">alarm: Alarm</span>) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    alarm_list.append(alarm)</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Your ALARM added successfully.&quot;</span></span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.put(<span class="params"><span class="string">&quot;/alarm/&#123;alarm_id&#125;&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">update_alarm</span>(<span class="params">alarm_data: AlarmData, alarm_id: <span class="built_in">int</span>=Path(<span class="params">..., title=<span class="string">&quot;ID to be updated&quot;</span></span>)</span>) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">for</span> each_alarm <span class="keyword">in</span> alarm_list:</span><br><span class="line">        <span class="keyword">if</span> each_alarm.<span class="built_in">id</span> == alarm_id:</span><br><span class="line">            each_alarm.alarm = alarm_data.alarm</span><br><span class="line">            <span class="keyword">return</span> &#123;</span><br><span class="line">                <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Your Alarm is successfully updated.&quot;</span></span><br><span class="line">            &#125;</span><br><span class="line">        </span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;The ID which you gave doesn&#x27;t exist.&quot;</span></span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.delete(<span class="params"><span class="string">&quot;/alarm/&#123;alarm_id&#125;&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">delete_alarm</span>(<span class="params">alarm_id: <span class="built_in">int</span></span>) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">for</span> each_index <span class="keyword">in</span> <span class="built_in">range</span>(<span class="built_in">len</span>(alarm_list)):</span><br><span class="line">        alarm = alarm_list[each_index]</span><br><span class="line">        <span class="keyword">if</span> alarm.<span class="built_in">id</span> == alarm_id:</span><br><span class="line">            alarm_list.pop(each_index)</span><br><span class="line">            <span class="keyword">return</span> &#123;</span><br><span class="line">                <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Alarm is successfully deleted.&quot;</span></span><br><span class="line">            &#125;</span><br><span class="line">        </span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;The ID which you gave doesn&#x27;t exist.&quot;</span></span><br><span class="line">    &#125;</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.get(<span class="params"><span class="string">&quot;/test&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">helloworld_new</span>( ) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;new router Hello!&quot;</span></span><br><span class="line">        &#125;</span><br></pre></td></tr></table></figure><h3 id="5-3-model-py"><a href="#5-3-model-py" class="headerlink" title="5-3. model.py"></a>5-3. model.py</h3><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># model.py</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">from</span> pydantic <span class="keyword">import</span> BaseModel</span><br><span class="line"></span><br><span class="line"><span class="keyword">class</span> <span class="title class_">Alarm</span>(<span class="title class_ inherited__">BaseModel</span>):</span><br><span class="line">    <span class="built_in">id</span>: <span class="built_in">int</span></span><br><span class="line">    alarm: <span class="built_in">str</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">class</span> <span class="title class_">AlarmData</span>(<span class="title class_ inherited__">BaseModel</span>):</span><br><span class="line">    alarm: <span class="built_in">str</span></span><br></pre></td></tr></table></figure>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/FastAPI/">FastAPI</category>
      
      
      <category domain="https://emjayahn.github.io/tags/FastAPI/">FastAPI</category>
      
      <category domain="https://emjayahn.github.io/tags/API/">API</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%9B%B9%EC%84%9C%EB%B2%84/">웹서버</category>
      
      
      <comments>https://emjayahn.github.io/2023/05/07/20230424-fast-api-2/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[FastAPI] FastAPI 입문 part1 - 설치/라우팅</title>
      <link>https://emjayahn.github.io/2023/04/23/20230423-fast-api-1/</link>
      <guid>https://emjayahn.github.io/2023/04/23/20230423-fast-api-1/</guid>
      <pubDate>Sun, 23 Apr 2023 11:22:56 GMT</pubDate>
      
      <description>&lt;p&gt;회사에서는 그동안 데이터 파이프라인을 만들고 모델을 만드는데 열중하였다. 그리고 모델 개발이 완료되고, 이를 서비스하기 위해 다양한 방법을 고민하였다. 물론 모델 개발을 기획하기전 서비스를 어떻게 할지 구조와 계획을 세웠으나, 다양한 내부적인 이슈들이 있었다. 실시간성과 빠른 응답이 필요한 time-out 이슈, 장비의 노후화 등 여러가지 문제를 마주하였었고 이를 해결하기 위해서 자체 개발한 API가 필요하다는 것이 결론이었다.&lt;/p&gt;
&lt;p&gt;머신러닝 모델을 서비스하고 운영하기 위해 MLOps라는 단어가 등장하였다. 다양한 회사와 플랫폼에서 MLOps를 지원하기 위해 많은 제품을 내놓고 있으나 내가 있는 환경에 딱 들어 맞는 것이 없었다. 그래서 이번 기회에 FastAPI 를 이용해 자체 API 를 만들었다. 실제 배포되어 운영되고 있는 코드는 훨씬 복잡할 수는 있겠지만 기본 뼈대와 구조는 모두 동일할 것이다. 글을 쓰는 나 역시 FastAPI를 처음 사용해본 것이기에 스터디하면서 만들었다. 그간의 삽질과 여정을 한번 정리해보면서, 나와 비슷한 고민을 하는 분들에게 조금이나마 도움이 되길 바란다.&lt;/p&gt;
&lt;p&gt;(또한, 이 시리즈를 쓰는데 동기와 용기를 준 글또 커피드백 조원 두 분에게 감사하며 글을 써본다. Shout out to 문현규 &amp;amp; 박다원)&lt;/p&gt;
&lt;p&gt;이 글은 FastAPI 의 설치와 그 입문 그리고 기초적인 라우팅까지의 내용을 담았다. 앞으로 FastAPI시리즈로 담을 것이고 시리즈 안의 글의 순서와 목차는 내가 API를 구성하면서 스터디한 순서대로 담으려고 노력할 것이다. &lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>회사에서는 그동안 데이터 파이프라인을 만들고 모델을 만드는데 열중하였다. 그리고 모델 개발이 완료되고, 이를 서비스하기 위해 다양한 방법을 고민하였다. 물론 모델 개발을 기획하기전 서비스를 어떻게 할지 구조와 계획을 세웠으나, 다양한 내부적인 이슈들이 있었다. 실시간성과 빠른 응답이 필요한 time-out 이슈, 장비의 노후화 등 여러가지 문제를 마주하였었고 이를 해결하기 위해서 자체 개발한 API가 필요하다는 것이 결론이었다.</p><p>머신러닝 모델을 서비스하고 운영하기 위해 MLOps라는 단어가 등장하였다. 다양한 회사와 플랫폼에서 MLOps를 지원하기 위해 많은 제품을 내놓고 있으나 내가 있는 환경에 딱 들어 맞는 것이 없었다. 그래서 이번 기회에 FastAPI 를 이용해 자체 API 를 만들었다. 실제 배포되어 운영되고 있는 코드는 훨씬 복잡할 수는 있겠지만 기본 뼈대와 구조는 모두 동일할 것이다. 글을 쓰는 나 역시 FastAPI를 처음 사용해본 것이기에 스터디하면서 만들었다. 그간의 삽질과 여정을 한번 정리해보면서, 나와 비슷한 고민을 하는 분들에게 조금이나마 도움이 되길 바란다.</p><p>(또한, 이 시리즈를 쓰는데 동기와 용기를 준 글또 커피드백 조원 두 분에게 감사하며 글을 써본다. Shout out to 문현규 &amp; 박다원)</p><p>이 글은 FastAPI 의 설치와 그 입문 그리고 기초적인 라우팅까지의 내용을 담았다. 앞으로 FastAPI시리즈로 담을 것이고 시리즈 안의 글의 순서와 목차는 내가 API를 구성하면서 스터디한 순서대로 담으려고 노력할 것이다. </p><span id="more"></span><h2 id="1-FastAPI의-소개-및-설치"><a href="#1-FastAPI의-소개-및-설치" class="headerlink" title="1. FastAPI의 소개 및 설치"></a>1. FastAPI의 소개 및 설치</h2><p>Python 세계에 웹 프레임워크는 다양하다. 가장 유명한 장고(Django)와  플라스크(Flask)가 있지만, 이 프레임워크들은 그 유명한 만큼 다양한 기능을 제공한다. 반면에 그 역사와 전통을 자랑하는 것과 비례에 그 속도가 느린 것이 단점이다. FastAPI 는 그 이름에서 느낄 수 있는 것처럼 빠르고 가벼우며, 간단한 API 를 비교적 쉽게 빌드하여 테스트베드로 사용할 수 있다. </p><p>먼저 FastAPI를 실습할 수 있게 설치해보자.</p><h3 id="1-1-FastAPI-설치"><a href="#1-1-FastAPI-설치" class="headerlink" title="1-1. FastAPI 설치"></a>1-1. FastAPI 설치</h3><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ pip install fastapi</span><br></pre></td></tr></table></figure><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line">$ pip install uvicorn </span><br><span class="line"><span class="comment"># or</span></span><br><span class="line">$ pip install <span class="string">&quot;uvicorn[standard]&quot;</span></span><br><span class="line"><span class="comment"># or</span></span><br><span class="line">$ pip install gunicorn</span><br></pre></td></tr></table></figure><p>이번 실습은 FastAPI 만 설치해도 무난하다. 하지만 웹 어플리케이션을 실제로 배포하고 다양한 request 를 처리하기 위해 나중엔 웹 서버가 필요할 수 있다. 이를 위해 unicorn이나 gunicorn, nginx등이 많이 사용되는데 이에 대해서는 나중에 좀더 자세히 살펴보자. 지금 단계에서는 fastapi, uvicorn 만 치해도 실습하고 배포하는데 큰 문제가 없다.</p><h3 id="1-2-HelloWorld"><a href="#1-2-HelloWorld" class="headerlink" title="1-2. HelloWorld"></a>1-2. HelloWorld</h3><p>FastAPI 를 설치해보았으니, 간단한 웹 어플리케이션을 빌드하여 hello world 를 찍어보자.</p><ol><li>my_first_app라는 폴더를 만들고 그 안에 <a href="http://app.py/">app.py</a> 라는 파이썬 파일을 만들자.</li></ol><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">$ <span class="built_in">mkdir</span> my_first_app</span><br><span class="line">$ <span class="built_in">cd</span> my_first_app</span><br><span class="line">$ <span class="built_in">touch</span> app.py</span><br></pre></td></tr></table></figure><ol><li>main<a href="http://app.py/">.py</a> 안에 다음과 같이 작성하자.</li></ol><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># my_first_app/main.py</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">from</span> fastapi <span class="keyword">import</span> FastAPI</span><br><span class="line"><span class="keyword">from</span> typing <span class="keyword">import</span> <span class="type">Dict</span></span><br><span class="line"></span><br><span class="line">app = FastAPI() <span class="comment">#1</span></span><br><span class="line"></span><br><span class="line"><span class="meta">@app.get(<span class="params"><span class="string">&quot;/&quot;</span></span>) </span><span class="comment">#2</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">helloworld</span>() -&gt; <span class="type">Dict</span>: <span class="comment">#3</span></span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Hello World&quot;</span> <span class="comment">#4</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><p>#1 : <code>app</code>이라는 변수에 FastAPI() 서버의 인스턴스를 생성한다</p><p>#2: 데코레이터를 사용하여 이 <code>app</code>에 라우팅을 설정해준다. REST API의  “&#x2F;”경로로 GET 액션이 들어왔을 때, 실행되는 함수를 밑에 정의한다.</p><p>#3: <code>helloworld()</code> 라는 함수를 위 라우트가 왔을 때 실행되는 함수명이고 그 내용은 #4의 dictionary 를 리턴한다.</p><ol><li>간단하게 만든 우리의 첫 어플리케이션을 실행해보자.</li></ol><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ cd my_first_app</span><br><span class="line">$ uvicorn main:app --port <span class="number">8080</span> --reload</span><br></pre></td></tr></table></figure><p>위 실행 명령어를 살펴보면,</p><p><code>uvicorn</code> : ASGI 웹 서버 어플리케이션으로 실행한다.</p><p><code>main</code> : 우리가 실행시키려고 하는 모듈 이름</p><p><code>app</code> : main 모듈 안에 uvicorn 이 바라보는 인스턴스 이름</p><p><code>—port</code> : 포트를 지정한다. 여기서는 8080</p><p><code>—reload</code> : reload 옵션을 주면 우리가 개발하는 프로젝트내에서 코드 변경이 이루어 졌을 때 다시 서버를 구동하여 변경된 코드를 적용한다. 개발하는 단계에서 잘 사용하면 편하다.</p><p>이렇게 사용하게 되면 터미널에서는 다음과 같이 결과가 뜬다.</p><p><img src="/2023/04/23/20230423-fast-api-1/Untitled.png" alt="Untitled"></p><p>웹서버가 잘 떴는지 확인하기 위해 자주 사용하는 크롬이나 사파리와 같은 브라우저에서 우리가 방금 만든 웹서버에 접속해보자.</p><p>url : <code>http://localhost:8080/</code></p><p><img src="/2023/04/23/20230423-fast-api-1/Untitled_01.png" alt="Untitled"></p><p>혹은 터미널에서 <code>curl localhost:8080</code></p><p><img src="/2023/04/23/20230423-fast-api-1/Untitled_02.png" alt="Untitled"></p><p>정상적으로 우리의 첫 어플리케이션을 띄우는데 성공했다면, 그 시작이 매우 보람찰 것이다. 내 손으로 띄운 웹통신 서버라니.. 사실 이게 API의 전부이다. </p><p>위 간단한 어플리케이션의 동작 원리를 다시 살펴보면,</p><p>(1) 우리가 URL 로 접속한다. 정확히는 호스트 주소. 여기서는 localhost:8080</p><p>(2) 그리고 접속하고자 하는 경로를 확인한다. 여기서는 “&#x2F;”</p><p>(3) 이 request를 받은 우리의 인스턴스는 라우팅을 통해 “&#x2F;”에 해당하는 함수를 찾는다.</p><p>(4) helloworld()함수를 실행하고 그 함수에서 정의한 결과값을 리턴한다. 여기서는 {”message”: “hello world”}</p><p>정상적으로 응답을 했다면, 다음과 같이 200 사인을 준다. 그 결과는 우리의 콘솔에서도 확인할 수 있다.</p><p><img src="/2023/04/23/20230423-fast-api-1/Untitled_03.png" alt="Untitled"></p><h2 id="2-라우팅"><a href="#2-라우팅" class="headerlink" title="2. 라우팅"></a>2. 라우팅</h2><p>앞서 살펴본 라우트 처리 방법은 실제로는 잘 사용하지 못한다. 위와 같은 방식은 라우팅 중에 단일 경로만 처리하게 되기 때문이다. 이는 uvicorn이 하나의 엔트리 포인트만 실행할 수 있기 때문이다. 여러 함수를 사용하여 연속적이고 다중의 라우트 처리는 FastAPI의 APIRouter클래스를 사용하여 이 문제를 해결 할 수 있다.</p><p>실습해보자!</p><ol><li>my_first_app 안에 routers 라는 폴더를 만들고 <a href="http://test.py/">test.py</a> 파이썬 파일을 만들자.</li></ol><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">$ cd my_first_app</span><br><span class="line">$ mkdir routers</span><br><span class="line">$ touch routers/test.py</span><br></pre></td></tr></table></figure><ol><li>new_router<a href="http://test.py/">.py</a> 에 다음과 같은 코드를 작성하자.</li></ol><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br></pre></td><td class="code"><pre><span class="line"><span class="keyword">from</span> fastapi <span class="keyword">import</span> APIRouter</span><br><span class="line"><span class="keyword">from</span> typing <span class="keyword">import</span> <span class="type">Dict</span></span><br><span class="line"></span><br><span class="line">router = APIRouter(</span><br><span class="line">    prefix=<span class="string">&quot;/new&quot;</span></span><br><span class="line">)</span><br><span class="line"></span><br><span class="line"><span class="meta">@router.get(<span class="params"><span class="string">&quot;/test&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">helloworld_new</span>( ) -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;new router Hello!&quot;</span></span><br><span class="line">        &#125;</span><br></pre></td></tr></table></figure><ol><li><a href="http://main.py/">main.py</a> 에 다음을 추가하자.</li></ol><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># main.py 에 추가</span></span><br><span class="line"><span class="keyword">from</span> routers.new_router <span class="keyword">import</span> router</span><br><span class="line"></span><br><span class="line">app.include_router(router)</span><br></pre></td></tr></table></figure><ul><li>최종적으로 main.py의 코드는 다음과 같다.</li></ul><figure class="highlight python"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br></pre></td><td class="code"><pre><span class="line"><span class="keyword">from</span> fastapi <span class="keyword">import</span> FastAPI</span><br><span class="line"><span class="keyword">from</span> typing <span class="keyword">import</span> <span class="type">Dict</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">from</span> routers.new_router <span class="keyword">import</span> router</span><br><span class="line"></span><br><span class="line">app = FastAPI()</span><br><span class="line"></span><br><span class="line">app.include_router(router)</span><br><span class="line"></span><br><span class="line"><span class="meta">@app.get(<span class="params"><span class="string">&quot;/&quot;</span></span>)</span></span><br><span class="line"><span class="keyword">async</span> <span class="keyword">def</span> <span class="title function_">helloworld</span>() -&gt; <span class="type">Dict</span>:</span><br><span class="line">    <span class="keyword">return</span> &#123;</span><br><span class="line">        <span class="string">&quot;message&quot;</span>: <span class="string">&quot;Hello World&quot;</span></span><br><span class="line">    &#125;</span><br></pre></td></tr></table></figure><ol><li>기능확인</li></ol><p><a href="http://localhost:8080/dms">localhost:8080&#x2F;</a>new&#x2F;test 라는 주소를 입력하면 우리가 새로 작성한 new router hello  메시지를 볼 수 있다.</p><p><img src="/2023/04/23/20230423-fast-api-1/Untitled_04.png" alt="Untitled"></p><p>우리가 추가한 new_router.py 를 살펴보자.</p><p>(1) APIRouter 클래스 안에 prefix는 여기서 설정하는 router는 &#x2F;new 뒤에 오는 경로를 설정하겠다는 의미이다. 이부분을 공란으로 두면, <a href="http://localhost:8080/">localhost:8080</a>&#x2F; 루트에 바로 추가되는 경로가 될 것이다.</p><p>(2) &#x2F;new 아래에 &#x2F;test라는 경로가 들어오면 아래 함수를 실행하겠다는 뜻이다. 여기서는 “new router Hello”를 리턴한다.</p><h2 id="3-정리"><a href="#3-정리" class="headerlink" title="3. 정리"></a>3. 정리</h2><p>이번 글에서는 FastAPI 를 이용하여 간단하게 첫 어플리케이션을 만들어 보았고, 거기다 더해 다중 라우팅을 처리하기 위한  APIRouter클래스도 살펴보았다. 이번 글에서 미처 설명하지 못한 부분을 한번 개인적으로 찾아보면 좋겠다. 키워드로는 RestAPI, HTTP 메소드중 GET, POST, PUT, DELETE, Router 등의 키워드로 개인적인 공부를 하면 앞으로 업로드하는 FastAPI시리즈를 읽으며 좀더 많은 도움이 될 것이라고 믿는다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/FastAPI/">FastAPI</category>
      
      
      <category domain="https://emjayahn.github.io/tags/FastAPI/">FastAPI</category>
      
      <category domain="https://emjayahn.github.io/tags/API/">API</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%9B%B9%EC%84%9C%EB%B2%84/">웹서버</category>
      
      
      <comments>https://emjayahn.github.io/2023/04/23/20230423-fast-api-1/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Linux] screen을 사용해보자</title>
      <link>https://emjayahn.github.io/2023/04/09/20230409-screen-basic/</link>
      <guid>https://emjayahn.github.io/2023/04/09/20230409-screen-basic/</guid>
      <pubDate>Sun, 09 Apr 2023 08:58:57 GMT</pubDate>
      
      <description>&lt;p&gt;우리가 서버에서 시간이 많이 드는 작업을 한다고 생각해보자. 필자는 모델을 학습시킨다거나 특정 어플리케이션을 빌드할 때를 예로 들 수 있겠다. (특히 최근에는 gcc를 빌드 할 때..) 해당 작업을 하면서 콘솔에 찍히는 아웃풋 모니터링 등도 함께 필요하면 특히나 서버에 붙은 연결을 유지해야할 필요가 있다. 오늘은 이 문제를 해결할 수 있는 linux의 screen을 알아보고 이 기능 외에도 다양하게 활용할 수 있는 응용 예제들도 살펴보자.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>우리가 서버에서 시간이 많이 드는 작업을 한다고 생각해보자. 필자는 모델을 학습시킨다거나 특정 어플리케이션을 빌드할 때를 예로 들 수 있겠다. (특히 최근에는 gcc를 빌드 할 때..) 해당 작업을 하면서 콘솔에 찍히는 아웃풋 모니터링 등도 함께 필요하면 특히나 서버에 붙은 연결을 유지해야할 필요가 있다. 오늘은 이 문제를 해결할 수 있는 linux의 screen을 알아보고 이 기능 외에도 다양하게 활용할 수 있는 응용 예제들도 살펴보자.</p><span id="more"></span><h2 id="1-Screen의-개념"><a href="#1-Screen의-개념" class="headerlink" title="1. Screen의 개념"></a>1. Screen의 개념</h2><p>screen은 현재 접속해 있는 세션과 상관 없이 가상의 터미널을 띄워주는 리눅스 어플리케이션이다. 터미널 멀티플렉서라고도 한다. 가상의 터미널을 띄워주는 기능 덕분에 우리가 ssh 로 붙어 있는 세션이 time-out 등으로 종료되더라도 이미 띄워진 screen 의 세션은 살아있게 된다. 따라서 앞서 내가 겪은 예처럼 모델 학습이나 어플리케이션 빌드를 진행하는 도중 세션이 끊기더라도 그 screen 위에서 동작하는 작업들은 계속 백그라운드에서 동작하게 된다.</p><h2 id="2-Screen-설치"><a href="#2-Screen-설치" class="headerlink" title="2. Screen 설치"></a>2. Screen 설치</h2><p>screen은 대부분의 linux에서 기본적으로 설치되어 있으나, 다음과 같은 방법으로 그 버전을 확인해보고 없다면 설치해주면 된다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ screen --version</span><br></pre></td></tr></table></figure><ul><li>Ubuntu 계열</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ (sudo) apt update</span><br><span class="line">$ (sudo) apt install screen</span><br></pre></td></tr></table></figure><ul><li>Fedora 계열 및 CentOS</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ (sudo) yum install screen</span><br></pre></td></tr></table></figure><h2 id="3-간단-Screen-시작"><a href="#3-간단-Screen-시작" class="headerlink" title="3. 간단 Screen 시작"></a>3. 간단 Screen 시작</h2><p>위 과정으로 screen이 준비 되었다면, 간단하게 screen을 사용해 볼 수 있다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ screen</span><br></pre></td></tr></table></figure><p><img src="/2023/04/09/20230409-screen-basic/Untitled.png" alt="Untitled"></p><p>screen을  입력해 실행하더라도, 터미널 상에서 그 전과 다르지 않다는 것을 확인 할 수 있다. 하지만 <code>exit</code>으로 screen을 종료하면 다음과 같은 문구를 확인 할 수 있다.</p><p><img src="/2023/04/09/20230409-screen-basic/Untitled_01.png" alt="Untitled"></p><p>이렇게 우리가 지금 screen을 사용하는지 안하는지, 어떤 창을 사용하고 있는지 등을 육안으로는 쉽게 확인 할 수 없기 때문에 screenrc 파일을 수정하여 예쁘게(?) 사용한다. 터미널도 예뻐야 일할 맛이 나니 먼저 screenrc 부터 수정해보자.</p><h2 id="4-screen을-자유자재로-활용해보기"><a href="#4-screen을-자유자재로-활용해보기" class="headerlink" title="4. screen을 자유자재로 활용해보기"></a>4. screen을 자유자재로 활용해보기</h2><p>screen에 다양한 옵션을 알아보자. 암기하듯이 나열하는 것보다는 필자가 습관처럼 자주 사용하는 명령어 순으로 나열해보겠다.</p><h3 id="4-1-screen-S"><a href="#4-1-screen-S" class="headerlink" title="4-1. screen -S"></a>4-1. screen -S</h3><p>앞서 screen만 입력하게 되면, default 이름이 들어가게 된다. -S 옵션을 주게 되면 session 마다 </p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ screen -S session_name</span><br></pre></td></tr></table></figure><h3 id="4-2-screen-ls"><a href="#4-2-screen-ls" class="headerlink" title="4-2. screen -ls"></a>4-2. screen -ls</h3><p>생성한 세션의 리스트를 확인할 수 있습니다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ screen -<span class="built_in">ls</span></span><br></pre></td></tr></table></figure><p><img src="/2023/04/09/20230409-screen-basic/Untitled_02.png" alt="Untitled"></p><h3 id="4-3-세션-다시-접속"><a href="#4-3-세션-다시-접속" class="headerlink" title="4-3. 세션 다시 접속"></a>4-3. 세션 다시 접속</h3><p>생성했던 세션에 다시 접속하기 위한 명령어이다. 동일한 이름의 세션이름이 두개 이상있다면, 앞에 나와있는 세션 ID까지 같이 입력해주어야 한다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ screen -r session_id_or_session_name</span><br><span class="line">$ screen -x session_id_or_session_name</span><br></pre></td></tr></table></figure><ul><li><p>screen -r 과 screen -x의 차이</p><ul><li><code>screen -r</code>: Single display mode</li><li><code>screen -x</code>: Multi display mode → 같은 스크린 세션에 여러명이 들어갔을 때 모든 명령어와 활동이 함께 보임</li><li>아래 예시처럼 서로 다른 터미널을 틀고, 같은 스크린에 -x 옵션을 주어 접속하면 한쪽에서 치는 명령어와 활동이 동일하게 보인다</li></ul><p>  <img src="/2023/04/09/20230409-screen-basic/Untitled_03.png" alt="Untitled"></p></li></ul><h3 id="4-4-세션-내-윈도우-생성"><a href="#4-4-세션-내-윈도우-생성" class="headerlink" title="4-4. 세션 내 윈도우 생성"></a>4-4. 세션 내 윈도우 생성</h3><p>세션 내에서 윈도우를 생성하는 것은 스크린의 주요 기능이라 할 수 있다. 한 세션 내에서 여러 윈도우를 실행하고 각각 다른 작업을 수행할 수 있다. </p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, c </span><br><span class="line"><span class="comment"># (create라 기억)</span></span><br></pre></td></tr></table></figure><h3 id="4-5-세션-detached"><a href="#4-5-세션-detached" class="headerlink" title="4-5. 세션 detached"></a>4-5. 세션 detached</h3><p>다음에서 나오는 세션 종료와는 다르다. 현재 연결 되어있는 screen 과의 연결만 끊는 것이다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, d</span><br><span class="line"><span class="comment"># (detach라 기억)</span></span><br></pre></td></tr></table></figure><h3 id="4-6-세션-내-윈도우-종료-amp-세션-종료"><a href="#4-6-세션-내-윈도우-종료-amp-세션-종료" class="headerlink" title="4-6. 세션 내 윈도우 종료 &amp; 세션 종료"></a>4-6. 세션 내 윈도우 종료 &amp; 세션 종료</h3><p>세션에 내 모든 윈도우가 종료되면 screen으로 실행한 세션도 종료된다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ <span class="built_in">exit</span></span><br></pre></td></tr></table></figure><p>다음 명령어는 screen을 종료하면서 빠져나간다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, k </span><br></pre></td></tr></table></figure><h3 id="4-7-세션-내-윈도우-목록-보기"><a href="#4-7-세션-내-윈도우-목록-보기" class="headerlink" title="4-7. 세션 내 윈도우 목록 보기"></a>4-7. 세션 내 윈도우 목록 보기</h3><p>한 세션 내에서 여러 윈도우가 있는 경우 윈도우의 리스트를 볼 수 있는 방법이다. 아래 명령어를 입력하면 윈도우 목록이 잠시 나타났다가 사라진다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, w</span><br><span class="line"><span class="comment"># (실행되고 있는 window라 기억)</span></span><br><span class="line"></span><br><span class="line">$ ctrl + a, <span class="string">&quot;</span></span><br></pre></td></tr></table></figure><p><img src="/2023/04/09/20230409-screen-basic/Untitled_04.png" alt="ctrl + a, w 터미널 하단에 나타나는 결과"></p><p>ctrl + a, w 터미널 하단에 나타나는 결과</p><p><img src="/2023/04/09/20230409-screen-basic/Untitled_05.png" alt="ctrl + a, “ 윈도우 목록이 보이고, 방향키로 해당 윈도우 선택 가능"></p><p>ctrl + a, “ 윈도우 목록이 보이고, 방향키로 해당 윈도우 선택 가능</p><h3 id="4-8-세션-내-윈도우-이동하기"><a href="#4-8-세션-내-윈도우-이동하기" class="headerlink" title="4-8. 세션 내 윈도우 이동하기"></a>4-8. 세션 내 윈도우 이동하기</h3><p>세션에서 윈도우 간의 이동은 윈도우의 번호를 누르면 된다. 혹은 이전 창의 경우 다음 명령어 와 같다</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, 0 <span class="comment"># 0번째 윈도우</span></span><br><span class="line">$ ctrl + a, 1 <span class="comment"># 1번째 윈도우</span></span><br><span class="line">$ ctrl + a, 2 <span class="comment"># 2번째 윈도우</span></span><br><span class="line"></span><br><span class="line">$ ctrl + a, a <span class="comment"># 이전 사용한 윈도우</span></span><br></pre></td></tr></table></figure><h3 id="4-9-윈도우-화면-분할"><a href="#4-9-윈도우-화면-분할" class="headerlink" title="4-9. 윈도우 화면 분할"></a>4-9. 윈도우 화면 분할</h3><ul><li>가로 화면 분할</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, <span class="built_in">shift</span> + s</span><br></pre></td></tr></table></figure><ul><li>세로 화면 분할</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, <span class="built_in">shift</span> + \</span><br></pre></td></tr></table></figure><ul><li>분할 윈도우간 이동</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ ctrl + a, tab</span><br></pre></td></tr></table></figure><h2 id="5-마무리"><a href="#5-마무리" class="headerlink" title="5. 마무리"></a>5. 마무리</h2><p>이번 글을 통해 screen 의 기본 사용법 대해 알아보았다. 빌드가 오래걸리는 여러가지 작업들에 도움이 될 것이며, 꼭 오래걸리는 작업 이외에도 한 화면에 다양한 화면 분할 기능으로 생산성이 올라갈 수 있을 것이다. 사용자의 입맛 대로 <code>.screenrc</code>를 작성하여 screen 을 꾸며 볼 수도 있다. 한 번 사용해보세요 🙂</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Linux/">Linux</category>
      
      
      <category domain="https://emjayahn.github.io/tags/linux/">linux</category>
      
      <category domain="https://emjayahn.github.io/tags/screen/">screen</category>
      
      <category domain="https://emjayahn.github.io/tags/multiplexer/">multiplexer</category>
      
      <category domain="https://emjayahn.github.io/tags/%EB%A9%80%ED%8B%B0%ED%94%8C%EB%A0%89%EC%84%9C/">멀티플렉서</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%8A%A4%ED%81%AC%EB%A6%B0/">스크린</category>
      
      
      <comments>https://emjayahn.github.io/2023/04/09/20230409-screen-basic/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Kubernetes] 쿠버네티스 입문</title>
      <link>https://emjayahn.github.io/2023/03/26/20230326-basic-kubernetes/</link>
      <guid>https://emjayahn.github.io/2023/03/26/20230326-basic-kubernetes/</guid>
      <pubDate>Sun, 26 Mar 2023 11:51:26 GMT</pubDate>
      
      <description>&lt;p&gt;머신러닝 서비스를 개발, 배포, 운영을 시작하면서 도커에 대한 이해와 필요성을 느끼며 도입을 위해 공부를 시작했다. 도커를 공부하던 끝에 이제는 쿠버네티스를 시작해보려고한다. 그리고 올해 말에는 CKAD 도 도전해보려고 한다. Kubernetes글 시리즈에서는 Kubernetes를 처음 시작하고 공부한 내용들을 정리해보며, 시험 준비기까지 정리해보려고 한다. 시험을 실제로 도전하기전 학습하고 실습한 내용들을 정리하는 글이다보니 그 끝에 시험에 합격할지까지 관심있게 지켜봐주면 좋겠다. 시험 합격 여부와 상관없이, 이 노력과 글, 지식은 내 안에 쌓일테니 꼼꼼히 공부해보려고한다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>머신러닝 서비스를 개발, 배포, 운영을 시작하면서 도커에 대한 이해와 필요성을 느끼며 도입을 위해 공부를 시작했다. 도커를 공부하던 끝에 이제는 쿠버네티스를 시작해보려고한다. 그리고 올해 말에는 CKAD 도 도전해보려고 한다. Kubernetes글 시리즈에서는 Kubernetes를 처음 시작하고 공부한 내용들을 정리해보며, 시험 준비기까지 정리해보려고 한다. 시험을 실제로 도전하기전 학습하고 실습한 내용들을 정리하는 글이다보니 그 끝에 시험에 합격할지까지 관심있게 지켜봐주면 좋겠다. 시험 합격 여부와 상관없이, 이 노력과 글, 지식은 내 안에 쌓일테니 꼼꼼히 공부해보려고한다.</p><span id="more"></span><h2 id="1-쿠버네티스란"><a href="#1-쿠버네티스란" class="headerlink" title="1. 쿠버네티스란?"></a>1. 쿠버네티스란?</h2><p>쿠버네티스는 도커와 같은 컨테이너를 손쉽게 관리하는 플랫폼이다. 도커 컨테이너를 서비스 트래픽의 양과 컨테이너의 양에 따라 배포하고 확장해야하는 이슈가 생기기 마련이다. 이 다수의 컨테이너를 관리하고 이를 자동화하는 플랫폼이다. 있어보이는 표현으로는 컨테이너 오케스트레이션 툴이라고 정리할 수 있겠다.</p><p><img src="/2023/03/26/20230326-basic-kubernetes/Untitled_01.png" alt="Kubernetes"></p><h2 id="2-쿠버네티스의-구성-요소"><a href="#2-쿠버네티스의-구성-요소" class="headerlink" title="2. 쿠버네티스의 구성 요소"></a>2. 쿠버네티스의 구성 요소</h2><p>쿠버네티스의 구성요소를 정리하며, 각 요소들의 기능 및 용어를 정리해보자.</p><h3 id="2-1-파드-Pod"><a href="#2-1-파드-Pod" class="headerlink" title="2-1. 파드 : Pod"></a>2-1. 파드 : Pod</h3><p>파드란 쿠버네티스 내에서 생성되고 관리되는 배포 가능한 가장 작은 컴퓨팅 단위이다. 어플리케이션의 단일 인스턴스라고 이해할 수 있다. 즉, 파드는 하나 이상의 컨테이너 그룹이다. 파드 내에서는 메모리, 네트워크를 공유하고 함께 스케쥴링된다.</p><h3 id="2-2-노드-Node"><a href="#2-2-노드-Node" class="headerlink" title="2-2.  노드 : Node"></a>2-2.  노드 : Node</h3><p>노드란 클러스터의 가상 혹은 물리 머신을 의미한다. 각 노드는 아래서 설명할 컨트롤 플레인에 의해 관리되고, 파드를 실행하는데 필요한 서비스를 포함한다. 클러스터 내에는 다수의 노드가 있을 수 있다. 모든 클러스터는 최소 한 개 이상의 워커 노드를 갖게 된다. 이후 워커 노드는 각 어플리케이션의 구성요소인 파드를 호스팅한다. </p><h3 id="2-3-컨테이너-런타임-엔진"><a href="#2-3-컨테이너-런타임-엔진" class="headerlink" title="2-3. 컨테이너 런타임 엔진"></a>2-3. 컨테이너 런타임 엔진</h3><p><img src="/2023/03/26/20230326-basic-kubernetes/Untitled.png" alt="Docker"></p><p>컨테이너를 구성하고 실행하기 위해 각 노드 안에는 컨테이너 런타임 엔진이 존재한다. 이 컨테이너 런타임 엔진 개념에 포함되는 한가지 예가 바로 도커이다. 쿠버네티스는 도커뿐만아니라 rkt 와 같은 컨테이너와도 호환이 가능하다. </p><h3 id="2-4-컨트롤-플레인-Control-Plane"><a href="#2-4-컨트롤-플레인-Control-Plane" class="headerlink" title="2-4. 컨트롤 플레인 : Control Plane"></a>2-4. 컨트롤 플레인 : Control Plane</h3><p>컨트롤 플레인이란 컨테이너의 전체 라이프 사이클을 정의하고, 배포하며, 관리하기 위한 API 이다. 컨트롤 플레인은 워커 노드와 클러스터 내 파드를 관리하게 된다. 컨트롤 플레인은 앞서 말한 노드와 항상 연결되어 있어, 노드가 정의한 실행환경에 따라 서로 통신하게 된다.</p><p><img src="/2023/03/26/20230326-basic-kubernetes/Untitled_02.png" alt="Control Plane"><br>Control Plane - 출처 : <a href="https://www.redhat.com/ko/topics/containers/kubernetes-architecture">https://www.redhat.com/ko/topics/containers/kubernetes-architecture</a></p><h3 id="2-5-etcd"><a href="#2-5-etcd" class="headerlink" title="2-5. etcd"></a>2-5. etcd</h3><p>클러스터 설정 데이터와 클러스터의 상태를 저장하는 key-value 데이터베이스이다. 클러스터 내에 어떤 노드가 몇 개 존재하며, 어떤 파드가 동작하고 있는지에 관한 정보가 etcd 에 기록된다. 이 etcd에 대한 백업 계획이 필수일 것이다. 이 etcd 데이터 유실이 일어나면 클러스터가 사용하는 리소스 정보를 모두 잃어버리기 때문이다.</p><p>이 외에도 kude-scheduler, kube-controller-manager, cloud-controller-manager, kube-proxy, kubelet 등 쿠버네티스의 기능과 관련된 개념과 용어드리 많이 등장한다. 위 5개와 관련된 용어는 쿠버네티스를 처음 시작하고 실습하는데 필요한 개념이라면 이후에 나오는 용어들은 각각의 실습과 동시에 그 용어와 개념을 정리해보려고 한다.</p><p>몇년동안 줄곧 핫한 플랫폼을 항상 쓰던 기능만 찾아서 써왔다. 이제와서 자세하게 공부하는 것이 조금 늦은 것 같아 아쉬운 점이 많지만, 이 아쉬움을 동기 삼아 열심히 공부해보려고 한다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Kubernetes/">Kubernetes</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Kubernetes/">Kubernetes</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4/">쿠버네티스</category>
      
      <category domain="https://emjayahn.github.io/tags/Data-Engineering/">Data Engineering</category>
      
      <category domain="https://emjayahn.github.io/tags/CI-CD/">CI/CD</category>
      
      
      <comments>https://emjayahn.github.io/2023/03/26/20230326-basic-kubernetes/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[논문리뷰] Real-time Attention Based Look-alike Model for Recommender System (Part 2)</title>
      <link>https://emjayahn.github.io/2023/03/12/20230312-paper-RALM-2/</link>
      <guid>https://emjayahn.github.io/2023/03/12/20230312-paper-RALM-2/</guid>
      <pubDate>Sun, 12 Mar 2023 05:34:24 GMT</pubDate>
      
      <description>&lt;p&gt;본 글에서는 Real-time Attention Based Look-alike Model for Recommender System 논문의 후반부 심을 살펴보고자 한다. 특히 Online Processing, Online Serving 파트를 집중적으로 살펴보자.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>본 글에서는 Real-time Attention Based Look-alike Model for Recommender System 논문의 후반부 심을 살펴보고자 한다. 특히 Online Processing, Online Serving 파트를 집중적으로 살펴보자.</p><span id="more"></span><h3 id="Key-Features"><a href="#Key-Features" class="headerlink" title="Key Features"></a>Key Features</h3><p>본 논문의 핵심은 3가지로 구분된다. 1. User representation을 학습하는 offline train model 2. Seeds representation 을 학습하는 비동기 online processing 3. user와 seed간의 similarity를 계산하고, 점수를 매겨 서빙하는 Online Serving</p><p>지난 Part 1에서 User representation과 offline train model을 살펴보았다면, 이번 글에서는 비동기 online processing 과 Online serving 부분에 대해 살펴보자.</p><h3 id="1-Online-Asynchronous-Processing"><a href="#1-Online-Asynchronous-Processing" class="headerlink" title="1. Online Asynchronous Processing"></a>1. Online Asynchronous Processing</h3><p>비동기 온라인 프로세싱에서의 핵심은  앞서 데이터베이스에 가지고 있는 유저 pool의 표현 방식 seeds representation을 실시간으로 업데이트 하는 것이다. Seeds는 시스템이 지속되고, 그 pool이 늘어남에 따라 계속 축적될 것이다. 또한 가지고 있는 유저는 계속 그 행동과 히스토리 데이터를 남길 것이고 그 데이터에 따라 유저를 표현하는 방식도 최신화 되어야만한다. 따라서 이 representation 은 주기적인 업데이트가 필요하고, 수많은 seeds를 효율적으로 관리하고 비슷한 seeds를 구분 짓기 위해 군집화를 시행한다. 비동기 온라인 프로세싱은 다음 두 가지로 구성된다.</p><p><strong>User feedback monitor</strong></p><p>Seed의 클릭, 페이지 방문 등 프로파일 데이터를 모니터링 하며, 다음 클러스터링에 영향을 주게 되는 user profile 을 실시간으로 업데이트한다. 이 논문에서는 3백만의 click 데이터를 활용하여 seed들의 profile을 업데이트 했다.</p><p><strong>Seeds Clustering</strong></p><p>K-means 알고리즘을 이용해 seed 들을 k 개의 군집으로 clustering 하였다. 각 cluster의 중심점과 업데이트 되는 중심점은 저장해 놓고, 이를 seeds의 raw representation  $R_{seeds}$ 개념으로 보았다.</p><p>$$<br>R_{seeds} &#x3D; &lt;!–swig0–&gt;, E_{centroid_{2}}, E_{centroid_{3}} ,…, E_{centroid_{k}}}}<br>$$</p><h3 id="2-Online-Serving"><a href="#2-Online-Serving" class="headerlink" title="2. Online Serving"></a>2. Online Serving</h3><p>이 온라인 서빙 부분은 실제 구현하는 각 회사나 개인의 환경에 따라 본 논문의 형태와는 다를 수 있겠다. 하지만 나 역시 이 부분의 이해를 토대로 회사의 환경에 맞게 응용하여 적용하였으므로 차분히 살펴보자.</p><p>이 모델이 서빙이 될 때, 그 input 부터 살펴보면 다음과 같다.</p><ol><li>Current user → Fetch look-alike embedding</li><li>Fetch the centroid embeddings</li><li>Predict global embedding (global attention unit)</li><li>Predict local embedding (local attention unit)</li><li>Calculate global similarity &amp; local similarity</li></ol><p>위 단계별로 걸쳐진 global similarity와 local similarity는 다음의 식으로 통합된다.</p><p>$$<br>score_{u, s} &#x3D; \alpha cosine(E_{u}, E_{global_{s}})+ \beta cosine(E_{u}, E_{local_{s}})<br>$$</p><ul><li>$E_{global_{s}}$ : seeds의 global embedding</li><li>$E_{local_{s}}$ : seeds의 local embedding</li><li>$\alpha , \beta$ : global similarity와 local similarity의 각 가중치 (본 논문에서는 $\alpha&#x3D;0.3$, $\beta &#x3D;0.7$로 적용했다.)</li></ul><p>이렇게 앞서 만든 모델들의 각 유닛에 input 과 cluster embedding 간의 유사도 계산을 통해 최종 계산된 본 유사도를 활용하여 user extension 의 그룹을 정할 수 있다.</p><h3 id="3-본-논문-리뷰를-마치며"><a href="#3-본-논문-리뷰를-마치며" class="headerlink" title="3. 본 논문 리뷰를 마치며"></a>3. 본 논문 리뷰를 마치며</h3><p>회사의 업무로써 이 논문을 처음 읽었을 때는 그리 크게 감탄하지 못했다. 하지만 본격적으로 구현해보면서, 본 논문의 주장하는 바와 그 주장이 논리적으로 다가와 내게 “Aha”포인트를 주어, 이 논문을 정리하고 공유해보고 싶었다. 이 논문의 인상 깊은 점은 attention unit 을 통한 global , local 유저간의 유사도를 얻는 아이디어 였다. attention unit을 제외하고 이 모델을 살펴 보면, linear regression을 이용한 user extension 과 크게 다르지 않다는 것을 알 수 있다.</p><p>다른 분야(NLP)의 전유물이라고만 느껴왔던 attention unit 을 적용하는 아이디어에 대해 다시 한번 감탄하며 나 역시 분야를 가리지 않는 스터디를 통해 창의적인 시도를 계속 해봐야겠다는 다짐을 한다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Paper/">Paper</category>
      
      
      <category domain="https://emjayahn.github.io/tags/%EA%B8%80%EB%98%90/">글또</category>
      
      <category domain="https://emjayahn.github.io/tags/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/">논문리뷰</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C/">추천시스템</category>
      
      <category domain="https://emjayahn.github.io/tags/Look-alike/">Look-alike</category>
      
      
      <comments>https://emjayahn.github.io/2023/03/12/20230312-paper-RALM-2/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[논문리뷰] Real-time Attention Based Look-alike Model for Recommender System (Part 1)</title>
      <link>https://emjayahn.github.io/2023/02/26/20230226-paper-RALM-1/</link>
      <guid>https://emjayahn.github.io/2023/02/26/20230226-paper-RALM-1/</guid>
      <pubDate>Sun, 26 Feb 2023 05:59:57 GMT</pubDate>
      
      <description>&lt;p&gt;본 글에서는 Real-time Attention Based Look-alike Model for Recommender System 논문의 핵심을 살펴보고, 위 논문의 각 파트를 구현하면서 마주한 문제와 고민을 공유해보고자 한다. Part 1, 2로 나누어 User representation learning 파트와 Online Processing 파트를 나누어 살펴보자.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>본 글에서는 Real-time Attention Based Look-alike Model for Recommender System 논문의 핵심을 살펴보고, 위 논문의 각 파트를 구현하면서 마주한 문제와 고민을 공유해보고자 한다. Part 1, 2로 나누어 User representation learning 파트와 Online Processing 파트를 나누어 살펴보자.</p><span id="more"></span><p>광고를 송출 하는데 있어, 요즘 내가 풀고 있는 문제는 “오디언스의 확보”이다. 광고주마다 특정 KPI 를 달성하는데 필요한 오디언스는 정해져있다고 전제할 때, 광고 시스템은 전체 오디언스 풀에서 특정 KPI를 달성하는데 유리한 오디언스를 찾아내 타겟팅, 리타겟팅을 잘 해내야 한다. “오디언스 확보”를 위해서 다양한 아이디어에 근간해 개발을 하고 있고, 우리 광고 시스템에 실험을 하고 있다. 그 중 RecSys분야에서 재미있게 읽은 Attention based Look-alike Model 논문을 리뷰해 본다. Look-alike Model 은 특정 캠페인에서 효율(간단하게는 CTR, CVR 등)이 좋았던 N명의 오디언스의 특징을 찾고, 전체 오디언스 풀에서 N명과 유사한 M을 찾는 것이다. </p><h3 id="Key-Features"><a href="#Key-Features" class="headerlink" title="Key Features"></a>Key Features</h3><p>본 논문의 핵심은 3가지로 구분된다. 1. User representation을 학습하는 offline train model 2. Seeds representation 을 학습하는 비동기 online processing 3. user와 seed간의 similarity를 계산하고, 점수를 매겨 서빙하는 Online Serving</p><p>본 논문을 직접 구현하는데 있어 가장 중요한 것은 1, 2번의 모델링 방법이다. 3의 경우, 각 회사나 시스템마다 적용할 수 있는 방법은 다양하게 있을 것이다. 본 글에서는 1번에 집중하여 핵심을 파악해보자. 다음글에서 2번 모델에 알아보자.</p><h3 id="1-User-Representation-Learning"><a href="#1-User-Representation-Learning" class="headerlink" title="1. User Representation Learning"></a>1. User Representation Learning</h3><p>유저 profile 데이터는 매우 다양하게 있을 것이다. 기본적인 메타데이터부터 특정 광고 캠페인에서의 클릭수, 랜딩 페이지, 랜딩 페이지에서의 활동 등. user 를 표현 할 수 있는 profile feature data 는 잘 정제 되어 있다는 전제하에 본 논문이 제시하는 user representation learning 모델을 살펴보자. </p><p><img src="/2023/02/26/20230226-paper-RALM-1/Untitled.png" alt="그림 : User representation learning Model Architecture"></p><p>그림 : User representation learning Model Architecture</p><p><strong>Sampling</strong></p><p>먼저, 본 논문은 user representation embedding 을 학습시키기 위해 multi-class classification 문제를 만들었다. 유저마다 클릭하는 아이템의 카테고리를 부여하고, 각 카테고리로 분류하는 문제이다. 이 때 수 많은 카테고리가 존재할 것이고, 유저의 분포와 카테고리 마다의 분포가 학습시키는데 불리하므로, 다음과 같은 negative sampling 을 활용했다.</p><p>$$<br>p(x_{i})&#x3D; \frac {log(k+2)-log(k+1)}{log(D+1)}<br>$$</p><ul><li>$x_{i}$ : i번째 아이템</li><li>$k$ : i 번째 아이템의 랭크</li><li>$D$ : 아이템 랭크의 최댓값</li><li>$p(x_{i})$ : i번째 아이템이 뽑힐 확률</li></ul><p>본 논문에서는 negative sampling 에서 poitive : negative 의 비율을 1:10으로 설정했다.</p><p><strong>모델 구조</strong></p><p>본 몬문에서는 위의 multi-class classification 문제를 풀기 위해, 모델 구조는 다음과 같이 간단하다.</p><ol><li>Embedding layer : (user, item)</li><li>(2-1) Concatenation layer : 붙이자!  or (2-2) Attention merge layer : 잘 붙이자!</li><li>Multi layer perceptron</li><li>(optimizer) Adam optimizer</li></ol><p> 마지막 Loss 는 Cross Entropy Loss</p><p>$$<br>L &#x3D; - \Sigma_{j \in X} y_ilogP(c&#x3D;i| U, X_{i})<br>$$</p><ul><li>$X$: 아이템 embedding 집합</li><li>$y_{i}$ : 0 or 1 의 라벨</li></ul><p><strong>Attention Merge Layer</strong></p><p>본 논문에서는 단순 concatenation layer 을 사용하니, 특정 아이템 필드에서 오버피팅 되는 문제가 있어, 강하고 약한 상관관계를 묘사하기 위해 다음과 같은 attention 유닛을 사용했다. </p><p>$$<br>u&#x3D;tanh(W_{1}H)<br>$$</p><p>$$<br>a_{i} &#x3D; \frac {e^{W_{2}u_{i}^{T}}}{\Sigma_{j}^{n}e^{W_{2}u_{j}^{T}}}<br>$$</p><ul><li>$h \in \mathbb {R}^m$, $H \in \mathbb {R^{n \times m}}$</li><li>$W_1 \in \mathbb{R}^{k \times n}$, $W_2 \in \mathbb {R}^{k}$</li><li>$u \in \mathbb{R}^n$ : activation 유닛</li><li>$a \in \mathbb{R}^{n}$ : attention weight</li><li>$k$ : attention 유닛 사이즈</li></ul><p>위 식을 계산하고, 최종적으로 concatenated layer 를 대신하는 vector 는 다음과 같이 계산된다.</p><p>$$<br>M&#x3D;aH<br>$$</p><h3 id="2-User-Representation-Learning-구현에-있어서-마주한-문제들"><a href="#2-User-Representation-Learning-구현에-있어서-마주한-문제들" class="headerlink" title="2. User Representation Learning 구현에 있어서 마주한 문제들."></a>2. User Representation Learning 구현에 있어서 마주한 문제들.</h3><p><strong>2-1. User Profile Data</strong></p><p>처음과 끝은 데이터임은 모든 데이터사이언티스트가 가지고 있는 고민이다. 양질의 데이터 웨어하우스를 구성하는것. 본 논문을 구현하고 시스템에 테스트 하는데 있어 가장 오랜 시간이 걸린 것이 입력 데이터 웨어하우스를 구성하는 것이었다. 기존에 사용하고 있는 데이터에서 attention 학습을 위해 시계열적인 학습 데이터를 구성했다. 그리고 여전히 추가되는 새로운 feature에 대해서도 고민하고 있다. 광고 특성상 각 소재 및 매체마다 붙는 IAB 카테고리 뿐만 아니라, 유저의 활동에도 각 카테고리 값을 시계열적으로 담았다. 본 논문의 아이디어를 차용해, 일정 기간 동안 클릭 및 전환하는 IAB 카테고리 내에서의 네거티브 샘플링을 적용했다.</p><p><strong>2-2. Attention Merge Layer의 효과</strong></p><p>본 논문처럼 나 역시 base model을 단순 concatenated layer 로 잡았다. (torch.concat 만 하면 되니까..) 반면에 논문에서 소개된 구조로 attention layer를 추가한 다음 모델에서는 학습 시키는데 어려움이 있었다. 특정 attention weight 만 업데이트 되는 문제를 발견하게 되었다. attention 목적에 맞는 기능을 하긴 했으나, 특정 attention weight 만 업데이트가 되면서, 일부 item embedding 은 반영되지 못하는 효과가 있었다. 이를 만회하기 위해, 나는 attention merge layer 와 base 모델의 concatenated layer 구조를 z 축으로 붙여 학습시키기도 하였다. 수치상으로는 앞 선 두 구조보다 나은 결과를 보였으나, 해당 구조가 같는 의미와 기능은 조금더 고민해보아야 한다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Paper/">Paper</category>
      
      
      <category domain="https://emjayahn.github.io/tags/%EA%B8%80%EB%98%90/">글또</category>
      
      <category domain="https://emjayahn.github.io/tags/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/">논문리뷰</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C/">추천시스템</category>
      
      <category domain="https://emjayahn.github.io/tags/Look-alike/">Look-alike</category>
      
      
      <comments>https://emjayahn.github.io/2023/02/26/20230226-paper-RALM-1/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[글또] 글또 8기를 시작하는 글</title>
      <link>https://emjayahn.github.io/2023/02/04/20230204-geultto-objective/</link>
      <guid>https://emjayahn.github.io/2023/02/04/20230204-geultto-objective/</guid>
      <pubDate>Sat, 04 Feb 2023 11:53:16 GMT</pubDate>
      
      <description>&lt;h2 id=&quot;01-Greetings&quot;&gt;&lt;a href=&quot;#01-Greetings&quot; class=&quot;headerlink&quot; title=&quot;01. Greetings&quot;&gt;&lt;/a&gt;01. Greetings&lt;/h2&gt;&lt;p&gt;글또 8기를 시작하며, 앞으로 활동하는 동안 목표하고자 하는 바를 정리해본다. &lt;/p&gt;
&lt;p&gt;작년 한해 동안 너무나도 정신없는 한해를 보냈다. 회사 내에서 머신러닝 프로젝트 2건에 대한 기획에서부터 ETL, Data Pipeline, 모델 연구 개발, 모델 서빙까지 작업했다. 한 해를 돌아보면서 아쉬웠던 부분은 새롭게 알게된 다양한 기술(특히, Data Engineering 분야와 MLOps 분야)과 새로 접하는 논문 (Tabular Network, RecSys), 그리고 작업한 코드들을 단백하게 정리하지 못했던 것이다.&lt;/p&gt;
&lt;p&gt;이번 활동을 통해서, 알고 싶은 것과 알게 된 것을 &lt;strong&gt;체계적이고 알기 쉽게 정리하는 것&lt;/strong&gt;이 나의 목표이다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><h2 id="01-Greetings"><a href="#01-Greetings" class="headerlink" title="01. Greetings"></a>01. Greetings</h2><p>글또 8기를 시작하며, 앞으로 활동하는 동안 목표하고자 하는 바를 정리해본다. </p><p>작년 한해 동안 너무나도 정신없는 한해를 보냈다. 회사 내에서 머신러닝 프로젝트 2건에 대한 기획에서부터 ETL, Data Pipeline, 모델 연구 개발, 모델 서빙까지 작업했다. 한 해를 돌아보면서 아쉬웠던 부분은 새롭게 알게된 다양한 기술(특히, Data Engineering 분야와 MLOps 분야)과 새로 접하는 논문 (Tabular Network, RecSys), 그리고 작업한 코드들을 단백하게 정리하지 못했던 것이다.</p><p>이번 활동을 통해서, 알고 싶은 것과 알게 된 것을 <strong>체계적이고 알기 쉽게 정리하는 것</strong>이 나의 목표이다.</p><span id="more"></span><h2 id="02-Objective"><a href="#02-Objective" class="headerlink" title="02. Objective"></a>02. Objective</h2><p>이번 글또 8기를 활동하면서 목표하는 바는 다음과 같다.</p><ol><li>글 쓰는 습관 기르기<ul><li>평소 논문 요약과 기술 정리는 개인적으로 정리하고 있으나, 남에게 공개할 만큼 “글”로 묘사 하지 않는다. 이런 점은 작성할 때는 편하지만, 다시 볼 때 기억을 되살리는 면에서 매우 큰 약점을 가지고 있다. 심지어는 논문을 다시 읽을 떄도 있고, 코드 전문을 다시 볼 때도 많다.</li><li>주제를 선정해, 공개하는 글에 대해서는 최대한 자세하고 친절한 설명과 정리를 하겠다.</li></ul></li><li>추천시스템, 특히 CTR based &#x2F; Audience Extension 추천 정리<ul><li>요즘 관심 있는 주제는 CTR based 추천과 Audience  Extension 에 대한 추천에 관심이 많다.</li><li>잡고 있는 논문 중심으로 정리하며, 테스트를 진행할 수 있는 코드를 짜는 것이 목표이다.</li></ul></li><li>NiFi, Airflow 정리<ul><li>작년부터 nifi 를 활용해 데이터 파이프라인 구축을 완료했다. Nifi 를 활용해 튜닝 할 수 있는 부분을 알게 될 때 마다 잘 정리하고 싶다. 또한 다른 회사에서는 airflow 를 많이 활용 하고 있다보니, nifi와의 공통점&#x2F;차이점들을 살펴볼 필요가 있겠다는 생각을 했다. 틈틈히 airflow부분도 살펴봐야겠다.</li></ul></li><li>다른 분들의 글 읽기 &#x2F; 커피챗 참여<ul><li>글또에 정말 다양한 분야에 계신 분들이 많다. 머신러닝&#x2F;ai 와 관련된 분야 뿐만 아니라 데이터 엔지니어, 데이터 분석 분야에 글을 틈틈히 읽고 싶다. 또 광고 분야에 계신분들도 있는 것 같아,  ad-tech 관련된 글과 커뮤니케이션도 많이 할 수 있을 것 같아 기대 중이다.</li></ul></li><li>블로그 플랫폼 이사<ul><li>현재 github 블로그를 이용중이다. 근데 이사하고 싶다.</li><li>현재 후보는 tistory, oopy, medium.<ul><li>새로운 플랫폼을 활용하려면 또 시간을 내어서 플랫폼 탐색을 해야하기 때문에.. 매번 글을 업로드 할 때마다  github 외에 한군데씩 올려보고, 조금씩 만져보며 이사를 천천히 준비하려고 한다.</li></ul></li></ul></li></ol><h2 id="03-Conclusion"><a href="#03-Conclusion" class="headerlink" title="03. Conclusion"></a>03. Conclusion</h2><p>가볍게 쓰기 시작한 목표 정리 글이 쓰다보니 장대해진 것 같다. 6개월이 지난 시점에 활동을 마무리 하면서 후회 없는 시간이 되었으면 좋겠다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/%EA%B8%80%EB%98%90/">글또</category>
      
      
      <category domain="https://emjayahn.github.io/tags/%EA%B8%80%EB%98%90/">글또</category>
      
      <category domain="https://emjayahn.github.io/tags/%EB%AA%A9%ED%91%9C/">목표</category>
      
      
      <comments>https://emjayahn.github.io/2023/02/04/20230204-geultto-objective/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[글또] 삶의 지도</title>
      <link>https://emjayahn.github.io/2023/01/14/20230114-geultto-map-of-life/</link>
      <guid>https://emjayahn.github.io/2023/01/14/20230114-geultto-map-of-life/</guid>
      <pubDate>Sat, 14 Jan 2023 14:25:26 GMT</pubDate>
      
      <description>&lt;h2 id=&quot;00-들어가는-글&quot;&gt;&lt;a href=&quot;#00-들어가는-글&quot; class=&quot;headerlink&quot; title=&quot;00. 들어가는 글&quot;&gt;&lt;/a&gt;00. 들어가는 글&lt;/h2&gt;&lt;p&gt;글또 8기에 지원하며, &lt;strong&gt;삶의 지도&lt;/strong&gt;를 그려보는 시간을 가졌다. 공지를 보고 일주일이 지나도록 어떻게 글을 써내려가야 할지 손이 움직이지 않았다. 나 자체를 돌아보며, 글 자체보다 나를 돌아보는 이 시간들이 매우 값졌다. 나를 이루는 다양한 면들이 단순히 한가지 사건에서 비롯되지 않았다는 것을 깨달음과 동시에 복잡하게 얽힌 시간과 경험을 글로 써내려가며 조금씩 정리 되는 것도 경험했다. 아래의 짧은 글을 통해서 조금이나마 나에게 관심 있는 사람들에게 내 &lt;strong&gt;삶의 지도&lt;/strong&gt;가 잘 전달되었으면 한다. &lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><h2 id="00-들어가는-글"><a href="#00-들어가는-글" class="headerlink" title="00. 들어가는 글"></a>00. 들어가는 글</h2><p>글또 8기에 지원하며, <strong>삶의 지도</strong>를 그려보는 시간을 가졌다. 공지를 보고 일주일이 지나도록 어떻게 글을 써내려가야 할지 손이 움직이지 않았다. 나 자체를 돌아보며, 글 자체보다 나를 돌아보는 이 시간들이 매우 값졌다. 나를 이루는 다양한 면들이 단순히 한가지 사건에서 비롯되지 않았다는 것을 깨달음과 동시에 복잡하게 얽힌 시간과 경험을 글로 써내려가며 조금씩 정리 되는 것도 경험했다. 아래의 짧은 글을 통해서 조금이나마 나에게 관심 있는 사람들에게 내 <strong>삶의 지도</strong>가 잘 전달되었으면 한다. </p><span id="more"></span><h2 id="01-모험과-도전을-즐기는-현재의-나"><a href="#01-모험과-도전을-즐기는-현재의-나" class="headerlink" title="01. 모험과 도전을 즐기는 현재의 나"></a>01. 모험과 도전을 즐기는 현재의 나</h2><p>#2023 #데이터사이언티스트 #ML엔지니어 #개척자 #도전</p><p>나는 현재 나스미디어 데이터사이언티스트로 일을 하고 있다. 미디어렙사이자 광고 플랫폼을 운영하고 있는 나스미디어는 온라인 &#x2F; 오프라인 광고 시장에서 1위를 선점하고 있는 회사이다. 이곳의 데이터사이언티스트로 일을 하면서 다양한 프로젝트를 리딩하고, 현재는 광고 추천 시스템을 연구하고 있다.</p><p>나는 나스미디어 최초의 데이터사이언티스트로 입사했다. 2021년에 들어왔을 때 우리 데이터사이언스팀은 팀원이 혼자인 1인팀이었고, 현재는 7명의 팀원들이 있다. 처음 회사에 들어왔을 때는 연구개발을 위한 인프라도 부재했고, 하루 수억건의 트래픽 데이터는 머신러닝&#x2F;데이터분석을 위한 형태로 적재되지 않았다. 처음 입사하자마자 광고 도메인에 대한 비지니스 공부를 함과 동시에 이런 인프라를 구축하는데 힘을 썼다. </p><p>2021년의 나스미디어에 합류한 나의 결정을 돌아보니, 나는 모험과 도전을 좋아하는 사람이다. 또한 나를 가장 들뜨게 하는 것은 이런 모험과 도전을 하는 과정에서 겪는 시행착오와 그 시행착오 끝에 얻어지는 지혜와 지식을 정리하고 알아가는 과정에 희열을 느끼는 사람이다. 지금도 내가 모르는 것에 대한 탐구와 아는 것을 정리하여 공유할 때 얻어지는 보람을 향해 달려가고 있다. </p><h2 id="02-암흑기-현재의-초석이된-과거의-나"><a href="#02-암흑기-현재의-초석이된-과거의-나" class="headerlink" title="02. 암흑기.. 현재의 초석이된 과거의 나"></a>02. 암흑기.. 현재의 초석이된 과거의 나</h2><p>#201x #고시생 #회색빛 #밑거름</p><p>지금의 나를 이루고 있는 성격&#x2F;지식&#x2F;삶에 대한 태도가 언제 구성되었는가 돌이켜보니, 21살의 내가 떠올랐다. 나는 대학에 입학하고, 21살부터 고시생이 되었다. 그리고 5년을 신림동 고시촌에서 공부했고, 첫 실패와 포기라는 단어를 마주했다. 주변 지인들과 그 시절을 회상하며 나는 “회색빛의 나와 회색하늘의 신림”이라는 표현을 자주했다. 하지만 그 때의 경험은 지금의 나를 지탱하는 큰 밑거름이다.</p><p><strong>도전. 실패. ..그리고 다시 도전.</strong> </p><p>시험에 도전하고, 그리고 도전과 도전 사이에는 반드시 실패가 존재한다. 당시에는 도전 자체에 큰 의미를 두었지만, 지금의 나는 그 실패를 딛고 일어서는 자세에 대해 중요하게 생각한다. 어떤 일과 계획이 뜻대로 되지 않을 때 우리는 이를 실패라고 정의 할 수 있다. 하지만 실패는 다음 실행과 계획에 중요한 경험을 쌓게 한다. 이 가치관은 과거의 내가 여러차례의 낙방을 경험하며 체화된 가치관이다.</p><p><strong>쌓인 지식. 컴퓨터, 데이터, 프로그래밍.</strong></p><p>고시생활을 5년 하면서, 5년 동안 24시간 공부만 했겠는가. 시험기간에는 평소에 보지도 않던 뉴스가 그렇게 재밌을수가 없다는 것은 모두가 공감할 것이다. 나 역시 하루 12시간 공부를 하고 녹초가 되어 집에 돌아와서 법전을 다시 펴지 못했다. 고시생활의 유일한 낙은 밤에 와서 보는 열혈강의 C언어 책과 C by Dissection 전공책이었다. 전공시간 때는 하나도 재미없었던 책을 아무 생각 없이(?) 코드를 타이핑하면서 보내는 시간을 좋아했었다. 다음날 아침 6시에 독서실을 나가야하는데, 새벽 3시까지 테트리스 게임을 짤 때도 있었다. 그 때의 딴짓은 지금의 밑거름이 되었다.</p><table>    <tr>        <td>            <figure>                <img src="./IMG_9078.jpeg">                <figcaption>지금도 간직하고 있는 그 시절 열혈강의 C.<br>요즘은 표지가 바뀌었다는데..</figcaption>            </figure>        </td>        <td>            <figure>                <img src="./IMG_9079.jpeg" width=95%>                <figcaption>지금도 간직하고 있는 그 시절 <br>C by Dissection 전공책. </figcaption>            </figure>        </td>    </tr></table> <!-- alt="그 시절 열혈강의 C. 요즘은 표지가 바뀌었다는데." --><!-- alt="지금도 간직하고 있는 그 시절 C by Dissection 전공책" --><!-- ![[사진] 지금도 간직하고 있는 그 시절 C by Dissection 전공책](IMG_9079.jpeg)<!-- ![[사진] 그 시절 열혈강의 C. 요즘은 표지가 바뀌었다는데.](IMG_9078.jpeg) --><h2 id="03-데이터사이언스로의-도전하는-나"><a href="#03-데이터사이언스로의-도전하는-나" class="headerlink" title="03. 데이터사이언스로의 도전하는 나"></a>03. 데이터사이언스로의 도전하는 나</h2><p>#딥러닝 #알파고 #다시도전</p><p>2016년에 늦은 나이로 군입대를 한 나는 알파고와 이세돌 대국을 경험하며, 딥러닝이 뉴스를 도배하는 시기를 마주한다. 딥러닝이라는 단어는 이미지 프로세싱 전공 수업 마지막 챕터에서 접했지만, “대학원에 와서 공부하라”는 교수님의 말씀만 기억이 날뿐었다. 전공수업에서 나왔던 단어가 뉴스를 도배하니, 자연스레 관심이 갔다. 이미지프로세싱 교과서를 다시 펼쳐보며, 모델 위주로 공부하던 나는 점차 데이터 생애 주기의 앞으로 관심이 갔다. 어떤 데이터가 어떻게 생성되며, 적재되는 방법과 관리하는 체계에 관심이 갔고, 분석하고 그 끝에 모델링을 하고 서빙하는 그 과정 전체를 공부하기 시작했다.</p><p>지금도 이 관심사는 여전하다. 다양한 기술과 새로운 방법론을 접할 때마다 관심을 갖고 follow-up 하려는 나의 노력은 <strong>과거의 나의 존재</strong>들이 만들어준 좋은 습관인 것 같다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/%EA%B8%80%EB%98%90/">글또</category>
      
      
      <category domain="https://emjayahn.github.io/tags/%EA%B8%80%EB%98%90/">글또</category>
      
      <category domain="https://emjayahn.github.io/tags/%EC%A7%80%EC%9B%90%EC%84%9C/">지원서</category>
      
      <category domain="https://emjayahn.github.io/tags/%ED%9A%8C%EA%B3%A0/">회고</category>
      
      
      <comments>https://emjayahn.github.io/2023/01/14/20230114-geultto-map-of-life/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[MAC] xcrun: error: invalid active developer 에러 해결방법</title>
      <link>https://emjayahn.github.io/2022/12/12/20221212-mac-xcrunn-error-invalid-active-ddeveloper-error/</link>
      <guid>https://emjayahn.github.io/2022/12/12/20221212-mac-xcrunn-error-invalid-active-ddeveloper-error/</guid>
      <pubDate>Sun, 11 Dec 2022 16:24:43 GMT</pubDate>
      
      <description>&lt;p&gt;방금 전, MacOS Ventura 13.0.1로 업그레이드 하고, flutter, python 개발 중 다음 과 같은 에러 코드를 내뱉으며 잘 되던 것들이 안되기 시작했다.&lt;br&gt;간단한 git부터 시작해서, 맥 내 환경변수를 포함하는 대부분의 명령어에서 다음과 같은 에러 메시지를 보냈다. 다음 글에서 그 해결방법을 정리했다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>방금 전, MacOS Ventura 13.0.1로 업그레이드 하고, flutter, python 개발 중 다음 과 같은 에러 코드를 내뱉으며 잘 되던 것들이 안되기 시작했다.<br>간단한 git부터 시작해서, 맥 내 환경변수를 포함하는 대부분의 명령어에서 다음과 같은 에러 메시지를 보냈다. 다음 글에서 그 해결방법을 정리했다.</p><span id="more"></span><h2 id="Error-Message"><a href="#Error-Message" class="headerlink" title="Error Message"></a>Error Message</h2><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun</span><br></pre></td></tr></table></figure><p><img src="/2022/12/12/20221212-mac-xcrunn-error-invalid-active-ddeveloper-error/Untitled.png" alt="[Error Message] xcrun: error: invalid active developer"></p><p>[Error Message] xcrun: error: invalid active developer</p><p>이런 현상은 맥 OS를 업데이트하면 종종 나타나왔었는데, M1으로 넘어오고나서는 처음 보는 현상이기에 해결법도 여전한지 확인해보며, 이 글을 적고 있다.</p><h2 id="해결방법"><a href="#해결방법" class="headerlink" title="해결방법"></a>해결방법</h2><p>맥의 개발자 도구인 CommandLineTools를 재설치하여 해당 에러를 고칠 수 있다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ xcode-select --install</span><br></pre></td></tr></table></figure>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Error-Solution/">Error&amp;Solution</category>
      
      
      <category domain="https://emjayahn.github.io/tags/error/">error</category>
      
      <category domain="https://emjayahn.github.io/tags/solution/">solution</category>
      
      <category domain="https://emjayahn.github.io/tags/mac/">mac</category>
      
      <category domain="https://emjayahn.github.io/tags/xcrun/">xcrun</category>
      
      <category domain="https://emjayahn.github.io/tags/commandlinetools/">commandlinetools</category>
      
      
      <comments>https://emjayahn.github.io/2022/12/12/20221212-mac-xcrunn-error-invalid-active-ddeveloper-error/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[github] github token 설정 및 키체인 등록</title>
      <link>https://emjayahn.github.io/2022/12/05/20221205-github-setting/</link>
      <guid>https://emjayahn.github.io/2022/12/05/20221205-github-setting/</guid>
      <pubDate>Mon, 05 Dec 2022 11:01:59 GMT</pubDate>
      
      <description>&lt;p&gt;최근에 맥북을 사고, 새로산 맥북에 개발환경을 하나씩 셋팅하고 있다. 그러면서 오랜만에 등록하는 github token과 매번 귀찮게 비밀번호를 기입하는 것을 막기 위한 키체인 등록까지 완료하여, 이 부분을 정리해 기록한다.&lt;/p&gt;
&lt;p&gt;이번 글에서 소개하는 github 환경 셋팅은 크게 두 단계로 나뉜다.&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;github token 발급&lt;/li&gt;
&lt;li&gt;macbook에 token 저장 및 git config 수정&lt;/li&gt;
&lt;/ol&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>최근에 맥북을 사고, 새로산 맥북에 개발환경을 하나씩 셋팅하고 있다. 그러면서 오랜만에 등록하는 github token과 매번 귀찮게 비밀번호를 기입하는 것을 막기 위한 키체인 등록까지 완료하여, 이 부분을 정리해 기록한다.</p><p>이번 글에서 소개하는 github 환경 셋팅은 크게 두 단계로 나뉜다.</p><ol><li>github token 발급</li><li>macbook에 token 저장 및 git config 수정</li></ol><span id="more"></span><h2 id="1-github-token-발급"><a href="#1-github-token-발급" class="headerlink" title="1. github token 발급"></a>1. github token 발급</h2><h3 id="1-1-github-접속-및-설정-페이지-접속"><a href="#1-1-github-접속-및-설정-페이지-접속" class="headerlink" title="1-1. github 접속 및 설정 페이지 접속"></a>1-1. github 접속 및 설정 페이지 접속</h3><p>자신의 github 계정에 접속하여 오른쪽 상단에 <code>setting</code> 을 클릭한다.</p><p><img src="/2022/12/05/20221205-github-setting/Untitled.png" alt="Untitled"></p><h3 id="1-2-Developer-Settings-에-접속"><a href="#1-2-Developer-Settings-에-접속" class="headerlink" title="1-2. Developer Settings 에 접속"></a>1-2. Developer Settings 에 접속</h3><p>왼쪽에 developer settings 클릭</p><p><img src="/2022/12/05/20221205-github-setting/Untitled_1.png" alt="Untitled"></p><h3 id="1-3-Token-메뉴-접속"><a href="#1-3-Token-메뉴-접속" class="headerlink" title="1-3. Token 메뉴 접속"></a>1-3. Token 메뉴 접속</h3><p>빨간색 박스 친 부분을 클릭하여, 토큰 생성 페이지에 접속한다.</p><p><img src="/2022/12/05/20221205-github-setting/Untitled_2.png" alt="Untitled"></p><p><img src="/2022/12/05/20221205-github-setting/Untitled_3.png" alt="Untitled"></p><h3 id="1-4-생성하는-Token의-권한-생성"><a href="#1-4-생성하는-Token의-권한-생성" class="headerlink" title="1-4. 생성하는 Token의 권한 생성"></a>1-4. 생성하는 Token의 권한 생성</h3><p>(1) 본인이 관리 할 수 있도록 이름을 지어준다.</p><p>(2) 본 토큰의 만료 일자 지정</p><p>(3) 토큰의 권한 범위 설정</p><p><img src="/2022/12/05/20221205-github-setting/Untitled_4.png" alt="Untitled"></p><h3 id="1-5-생성되는-토큰-저장"><a href="#1-5-생성되는-토큰-저장" class="headerlink" title="1-5. 생성되는 토큰 저장"></a>1-5. 생성되는 토큰 저장</h3><p>하단의 Generate token 버튼을 누르면 토큰이 발급된다. 본 토큰은 해당 페이지를 닫으면 더이상 확인 할 수 없으므로 잘 복사해두고 관리 해두어야 한다.</p><p>나는 개인 맥북에서 환경설정을 하는 중이므로, 다음 단계를 통해 해당 토큰을 내 개인 맥북의 keychain 에 저장하여 자동으로 기입 될 수 있도록 했다.</p><h2 id="2-Keychain-등록-및-비밀번호-자동기입"><a href="#2-Keychain-등록-및-비밀번호-자동기입" class="headerlink" title="2. Keychain 등록 및 비밀번호 자동기입"></a>2. Keychain 등록 및 비밀번호 자동기입</h2><h3 id="2-1-keychain-access-application-실행"><a href="#2-1-keychain-access-application-실행" class="headerlink" title="2-1. keychain access application 실행"></a>2-1. keychain access application 실행</h3><p>맥북 spotlight에서 <code>keychain [Access.app](http://Access.app) (키체인 접근)</code> 을 검색하여 들어간다.</p><p>검색에서 <a href="http://github.com/">github.com</a> 을 검색한다.</p><p><img src="/2022/12/05/20221205-github-setting/Untitled_5.png" alt="Untitled"></p><p>검색 결과, 방금 생성한 token 이 등록 되어 있으면 상관없지만 만약 등록 되어 있지 않다면, </p><p>이름 : github.com</p><p>계정 : 본인 깃헙 아이디</p><p>암호 : 방금 생성한 토큰</p><p>위 내용으로 등록한다.</p><h3 id="2-2-github-config-에-키체인-등록"><a href="#2-2-github-config-에-키체인-등록" class="headerlink" title="2-2.  github config 에  키체인 등록"></a>2-2.  github config 에  키체인 등록</h3><p>기본 terminal 혹은 iterm에서 github config 를 등록해준다.</p><figure class="highlight jsx"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ git config --<span class="variable language_">global</span> credential.<span class="property">helper</span> oskeychain</span><br></pre></td></tr></table></figure><p>위 과정을 통해, 깃헙 비밀번호(토큰) 기입 없이 자유롭게 푸쉬할 수 있게 된다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Git/">Git</category>
      
      
      <category domain="https://emjayahn.github.io/tags/git/">git</category>
      
      <category domain="https://emjayahn.github.io/tags/development/">development</category>
      
      <category domain="https://emjayahn.github.io/tags/%EA%B0%9C%EB%B0%9C%ED%99%98%EA%B2%BD/">개발환경</category>
      
      <category domain="https://emjayahn.github.io/tags/setting/">setting</category>
      
      
      <comments>https://emjayahn.github.io/2022/12/05/20221205-github-setting/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Linux] LightGBM GPU 버전 설치 및 환경설정</title>
      <link>https://emjayahn.github.io/2022/12/05/light-gbm-setting/</link>
      <guid>https://emjayahn.github.io/2022/12/05/light-gbm-setting/</guid>
      <pubDate>Sun, 04 Dec 2022 16:14:55 GMT</pubDate>
      
      <description>&lt;p&gt;LightGBM GPU 버전 Install의 경우,&lt;br&gt;OpenCL 기반의 LightGBM-GPU와 CUDA 기반의 LightGBM-CUDA 버전이 있다.&lt;br&gt;리눅스 환경에서 LightGBM의 설치와 환경설정은 자칫 까다로울 수 있다. 이번 글을 통해 정리해보자.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>LightGBM GPU 버전 Install의 경우,<br>OpenCL 기반의 LightGBM-GPU와 CUDA 기반의 LightGBM-CUDA 버전이 있다.<br>리눅스 환경에서 LightGBM의 설치와 환경설정은 자칫 까다로울 수 있다. 이번 글을 통해 정리해보자.</p><span id="more"></span><h3 id="OpenCL-Version-Documentation"><a href="#OpenCL-Version-Documentation" class="headerlink" title="OpenCL Version Documentation"></a>OpenCL Version Documentation</h3><p><a href="https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html#id17">Installation Guide - LightGBM 3.3.2 documentation</a></p><h3 id="CUDA-Version-Documentation"><a href="#CUDA-Version-Documentation" class="headerlink" title="CUDA Version Documentation"></a>CUDA Version Documentation</h3><p><a href="https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html#id20">Installation Guide - LightGBM 3.3.2 documentation</a></p><p>현재 환경은 NvidiaA100 GPU의 CUDA 환경이 미리 셋팅 되어 있어, 기존 LightGBM-GPU 버전이 아닌, CUDA 버전을 설치하려고 한다.</p><h2 id="1-환경변수-설정"><a href="#1-환경변수-설정" class="headerlink" title="1. 환경변수 설정"></a>1. 환경변수 설정</h2><p>CUDA 환경을 설정하면, CUDA의 환경변수를 각 계정별로 셋팅 해주어야 한다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br></pre></td><td class="code"><pre><span class="line">$ vi ~/.bashrc</span><br><span class="line"></span><br><span class="line"><span class="comment"># .bashrc에 다음의 환경변수를 추가해준다.</span></span><br><span class="line"><span class="comment"># CUDA SETTING</span></span><br><span class="line"><span class="built_in">export</span> PATH=<span class="variable">$PATH</span>:/usr/local/cuda-11.6/bin</span><br><span class="line"><span class="built_in">export</span> LD_LIBRARY_PATH=<span class="variable">$LD_LIBRARY_PATH</span>:/usr/local/cuda-11.6/lib64</span><br><span class="line"><span class="built_in">export</span> CUDADIR=/usr/local/cuda-11.6</span><br><span class="line"></span><br><span class="line"><span class="comment"># 저장후 반드시 실행</span></span><br><span class="line">$ <span class="built_in">source</span> .bashrc</span><br></pre></td></tr></table></figure><h2 id="2-Download-LightGBM"><a href="#2-Download-LightGBM" class="headerlink" title="2. Download LightGBM"></a>2. Download LightGBM</h2><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">git <span class="built_in">clone</span> --recursive https://github.com/microsoft/LightGBM</span><br></pre></td></tr></table></figure><h2 id="3-Build"><a href="#3-Build" class="headerlink" title="3. Build"></a>3. Build</h2><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line"><span class="built_in">cd</span> LightGBM</span><br><span class="line"><span class="built_in">mkdir</span> build</span><br><span class="line"><span class="built_in">cd</span> build</span><br><span class="line">cmake -DUSE_CUDA=1 ..</span><br><span class="line">make -j4</span><br></pre></td></tr></table></figure><h2 id="4-Install"><a href="#4-Install" class="headerlink" title="4. Install"></a>4. Install</h2><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line"><span class="built_in">cd</span> ../python-package</span><br><span class="line">python3 setup.py install</span><br></pre></td></tr></table></figure><h2 id="5-Troubleshooting"><a href="#5-Troubleshooting" class="headerlink" title="5. Troubleshooting"></a>5. Troubleshooting</h2><ul><li>지금 환경의 경우, root에 python이 설치 되어있고, 환경변수를 설정해 각 계정 별로 python 과 pip (python package manager) 가 독립되어 있는 환경이다.</li><li>위의 <code>python3 [setup.py](http://setup.py) install</code> 을 하는 경우, 다음과 같은 에러가 난다.</li></ul><p><img src="/2022/12/05/light-gbm-setting/Untitled.png" alt="Untitled"></p><ul><li><p>이는 root에 있는 site-packages에 현재 lightgbm 을 설치하는데 있어, permission denied : 권한 설정 에러이다.</p><ul><li>회사의 python은 절대 루트에서 작업하지 않는 원칙으로 환경을 설정했고, 이 에러는 당연하다.</li><li>따라서 해당 계정 패키지 매니저에 위 과정에서 compile 된 lightgbm을 설치해 주면 된다.</li></ul></li><li><p>위 <code>[setup.py](http://setup.py)</code> 실행을 통해 컴파일된 파일을 이용하여, 계정 패키지 매니저에 설치해준다.</p>  <figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">python3 -m pip install --install-option=--precompile --user .</span><br></pre></td></tr></table></figure></li></ul><h2 id="6-정상-설치-확인"><a href="#6-정상-설치-확인" class="headerlink" title="6. 정상 설치 확인"></a>6. 정상 설치 확인</h2><p><img src="/Untitled_01.png" alt="Untitled"></p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Linux/">Linux</category>
      
      
      <category domain="https://emjayahn.github.io/tags/setting/">setting</category>
      
      <category domain="https://emjayahn.github.io/tags/linux/">linux</category>
      
      <category domain="https://emjayahn.github.io/tags/lightgbm/">lightgbm</category>
      
      <category domain="https://emjayahn.github.io/tags/machine-learning/">machine learning</category>
      
      <category domain="https://emjayahn.github.io/tags/%ED%99%98%EA%B2%BD%EC%84%A4%EC%A0%95/">환경설정</category>
      
      
      <comments>https://emjayahn.github.io/2022/12/05/light-gbm-setting/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>회귀 모델 성능평가지표 : MAE, MSE, RMSE, R2 Score</title>
      <link>https://emjayahn.github.io/2022/02/10/Regression-Score/</link>
      <guid>https://emjayahn.github.io/2022/02/10/Regression-Score/</guid>
      <pubDate>Thu, 10 Feb 2022 06:40:03 GMT</pubDate>
      
      <description>&lt;ul&gt;
&lt;li&gt;회귀모델의 대표적인 성능 지표를 알아보는 글입니다.&lt;/li&gt;
&lt;li&gt;회귀 모델에서는 얼마나 정확하게 그 값을 예측하는 지가 중요합니다. y값의 형태는 낙찰가격처럼 연속된 실수형태이기 때문에, 그 값을 정확하게 예측하거나 가장 근사치로 예측하는 것이 가장 중요합니다. 따라서 회귀모델에서의 성능평가 지표는 실제y값과 예측y값을 비교합니다.&lt;/li&gt;
&lt;li&gt;대표적인 성능평가 지표에는 다음과 같은 4가지 종류가 있습니다.&lt;/li&gt;
&lt;/ul&gt;
&lt;ol&gt;
&lt;li&gt;MAE (Mean Absolute Error)&lt;/li&gt;
&lt;li&gt;MSE (Mean Squared Error)&lt;/li&gt;
&lt;li&gt;RMSE (Root Mean Squared Error)&lt;/li&gt;
&lt;li&gt;R2 Score (Coefficient of Determination) : 결정 계수&lt;/li&gt;
&lt;/ol&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><ul><li>회귀모델의 대표적인 성능 지표를 알아보는 글입니다.</li><li>회귀 모델에서는 얼마나 정확하게 그 값을 예측하는 지가 중요합니다. y값의 형태는 낙찰가격처럼 연속된 실수형태이기 때문에, 그 값을 정확하게 예측하거나 가장 근사치로 예측하는 것이 가장 중요합니다. 따라서 회귀모델에서의 성능평가 지표는 실제y값과 예측y값을 비교합니다.</li><li>대표적인 성능평가 지표에는 다음과 같은 4가지 종류가 있습니다.</li></ul><ol><li>MAE (Mean Absolute Error)</li><li>MSE (Mean Squared Error)</li><li>RMSE (Root Mean Squared Error)</li><li>R2 Score (Coefficient of Determination) : 결정 계수</li></ol><span id="more"></span><h2 id="1-MAE-Mean-Absolute-Error"><a href="#1-MAE-Mean-Absolute-Error" class="headerlink" title="1. MAE (Mean Absolute Error)"></a>1. MAE (Mean Absolute Error)</h2><ul><li><p>MAE 계산 순서</p><ol><li>오차 &#x3D; 실제값 - 예측값</li><li>절댓값 오차 : |오차|</li><li>모든 데이터의 오차를 구해야 하므로 시그마를 취함</li><li>오차의 전체 분포 파악을 위해 평균을 취함</li></ol></li><li><p>위 계산 순서를 수식으로 표현하면 다음과 같습니다.</p></li></ul><p>$$MAE &#x3D; \frac { { \Sigma |y_{true}-y_{pred} | } } {n}$$</p><ul><li>MAE의 특징<ul><li>Error의 절대값을 취하기 때문에, 에러의 크기가 그대로 반영됨</li><li>평균값이기 때문에, 개별 데이터의 에러의 평균 통계량을 의미</li><li>에러에 따른 Loss 가 선형적으로 올라갈 때 적합</li><li>이상치가 많을 때 주로 사용</li></ul></li></ul><h2 id="2-MSE-Mean-Squared-Error"><a href="#2-MSE-Mean-Squared-Error" class="headerlink" title="2. MSE (Mean Squared Error)"></a>2. MSE (Mean Squared Error)</h2><ul><li><p>MSE 의 계산 순서</p><ol><li><p>오차 &#x3D; 실제값 - 예측값</p></li><li><p>오차의 제곱</p></li><li><p>모든 데이터의 오차를 구해야하므로 시그마를 취함</p></li><li><p>오차의 전체 분포 파악을 위해 평균을 취함</p></li></ol></li><li><p>수식 표현</p><p>  $$MSE &#x3D; \frac { { \Sigma (y_{true}-y_{pred})^2 } } {n}$$</p></li><li><p>MSE 의 특징</p><ul><li>MAE 는 Loss 에 대해 그대로 반영하는 반면, MSE 는 에러의 제곱을 해주므로, 해당 Loss 를 좀더 강력히 제재하는 효과를 가집니다.</li><li>따라서 이상치가 있는 경우, 에러가 크게 측정되는 경향 이를 모델에 활용</li><li>다만 이 에러의 영향을 크게 하여, 모델 성능을 높이려는 목적</li></ul></li></ul><h2 id="3-RMSE-Root-Mean-Squared-Error"><a href="#3-RMSE-Root-Mean-Squared-Error" class="headerlink" title="3. RMSE (Root Mean Squared Error)"></a>3. RMSE (Root Mean Squared Error)</h2><ul><li><p>RMSE 계산 순서</p><ol><li><p>오차 &#x3D; 실제값 - 예측값</p></li><li><p>오차의 제곱</p></li><li><p>모든 데이터의 오차를 구해야하므로 시그마를 취함</p></li><li><p>오차의 전체 분포 파악을 위해 평균을 취함</p></li><li><p>평균값에 루트</p></li></ol></li><li><p>수식표현</p><p>  $$RMSE &#x3D; \sqrt { \frac { {\Sigma (y_{true}-y_{pred})^2} } {n}}$$</p></li><li><p>RMSE 의 특징</p><ul><li>MSE 의 값은 오차를 제곱해 계산하는 식으로, 그 값이 매우 커지는 경향이 있음</li><li>이를 보완하기 위해, Root 를 씌움</li><li>또한 성능평가 수치가, y 예측 값과 그 단위가 같으므로 직관적인 에러수치</li><li>에러에 따른 Loss 가 기하 급수적으로 올라가는 상황에서 쓰기 적합</li><li>MAE 와 함께 가장 일반적으로 많이 쓰이는 회귀모델 성능분석지표</li></ul></li></ul><h2 id="4-R2-Score-Coefficient-of-Determination-결정계수"><a href="#4-R2-Score-Coefficient-of-Determination-결정계수" class="headerlink" title="4. R2 Score (Coefficient of Determination : 결정계수)"></a>4. R2 Score (Coefficient of Determination : 결정계수)</h2><ul><li><p>R2 Score 는 실제 y의 변동량 대비 모델 예측 y의 변동량을 의미</p><ul><li>즉, 실제 y값의 분산에 비해, 예측 y의 분산이 얼만큼인지 비교</li><li>해당 회귀 모델이 주어진 데이터에 얼마나 적합한지를 평가하는 지표</li><li>상관관계가 높을수록 1에 가까워짐</li><li>(해석 예시) r2 score&#x3D;0.4라면, 40%의 설명력을 가진다고 해석</li></ul></li><li><p>MAE, MSE, RMSE 는 에러에 대한 수치이므로, 그 수치가 작을 수록 좋은 지표</p></li><li><p>R2 Score 는 1에 가까울 수록 성능이 좋음</p></li><li><p>R2 Score 계산</p><p>  $$R^2 Score&#x3D;1-\frac {SSE} {SST} &#x3D; 1- \frac {MSE} {Var(y) }$$</p><p>  $$SSE&#x3D;\frac {1} {n} \Sigma (y_{true}-y_{pred})^2$$</p><p>  $$SST&#x3D;\frac {1} {n} \Sigma (y_{true}-y_{mean})^2$$</p></li></ul>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/DataScience/">DataScience</category>
      
      <category domain="https://emjayahn.github.io/categories/DataScience/Regression/">Regression</category>
      
      
      
      <comments>https://emjayahn.github.io/2022/02/10/Regression-Score/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[Linux] AWK 간단 정리</title>
      <link>https://emjayahn.github.io/2021/12/07/AWK-basics/</link>
      <guid>https://emjayahn.github.io/2021/12/07/AWK-basics/</guid>
      <pubDate>Tue, 07 Dec 2021 14:32:12 GMT</pubDate>
      
      <description>&lt;ul&gt;
&lt;li&gt;AWK 는 데이터를 다루는 사람들이라면 한번씩은 그 Command를 사용해봤을 것입니다.&lt;/li&gt;
&lt;li&gt;저는 과거 Dataframe 을 생성해 본격적인 분석 및 연구.개발 작업이 들어가기 전에, AWK 를 통해 간단한 데이터 처리를 하는 경우, Raw Data 형식을 간단하게 정제하여 Database에 적재하는 경우에 사용해 왔습니다. 이 경우, 많이 사용하는 관용적인 구문외에는 AWK 자체를 살펴볼 기회가 적었습니다.&lt;/li&gt;
&lt;li&gt;최근 사내에서 로그 데이터의 추출을 위해 AWK를 오랜만에 다시 사용하게 되면서, 잊었던 AWK문법을 다시 한 번 살펴보며, 이번 기회에 AWK의 간단 사용예제부터 AWK 문법 몇가지를 정리해보고자 합니다.&lt;/li&gt;
&lt;/ul&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><ul><li>AWK 는 데이터를 다루는 사람들이라면 한번씩은 그 Command를 사용해봤을 것입니다.</li><li>저는 과거 Dataframe 을 생성해 본격적인 분석 및 연구.개발 작업이 들어가기 전에, AWK 를 통해 간단한 데이터 처리를 하는 경우, Raw Data 형식을 간단하게 정제하여 Database에 적재하는 경우에 사용해 왔습니다. 이 경우, 많이 사용하는 관용적인 구문외에는 AWK 자체를 살펴볼 기회가 적었습니다.</li><li>최근 사내에서 로그 데이터의 추출을 위해 AWK를 오랜만에 다시 사용하게 되면서, 잊었던 AWK문법을 다시 한 번 살펴보며, 이번 기회에 AWK의 간단 사용예제부터 AWK 문법 몇가지를 정리해보고자 합니다.</li></ul><span id="more"></span><h2 id="AWK-Aho-Weinberger-Kernighan-오크"><a href="#AWK-Aho-Weinberger-Kernighan-오크" class="headerlink" title="AWK (Aho Weinberger Kernighan 오크)"></a>AWK (Aho Weinberger Kernighan 오크)</h2><ul><li>스크립트 언어</li><li>텍스트 파일을 <strong>조회&#x2F;필터링&#x2F;가공</strong> 출력하는 프로그램</li><li>쉘스크립트 상에서 데이터를 간단히 처리할 수 있는 필수 프로그램</li><li>각 row data는 Enter(줄바꿈, newline)로 구분, column data는 공백, tab으로 구분</li><li>각 row data, 줄은 <strong>레코드(Record)</strong> 라 지칭</li><li>각 데이터, column, 단어 등은 <strong>필드(Field)</strong> 라 지칭</li></ul><h2 id="AWK-의-동작방식"><a href="#AWK-의-동작방식" class="headerlink" title="AWK 의 동작방식"></a>AWK 의 동작방식</h2><ol><li>필드 전체 : <strong>$0</strong>,  특정 필드 지칭 : <strong>$1</strong> ~ (주의 : 0번이 첫번째가 아님!!)</li><li>기본적인 default 구분자는  **공백(Space, Tab)**이나, <strong>-F</strong> 옵션을 줌으로써 구분 기호를 지정가능</li><li>AWK command 형식 : <code>awk &#123;pattern&#125; &#123;action&#125; filename</code> <ol><li>pattern, action 둘 중 한 값만 있으면 됨</li></ol></li></ol><h2 id="AWK-사용예제"><a href="#AWK-사용예제" class="headerlink" title="AWK 사용예제"></a>AWK 사용예제</h2><h3 id="1-Column-data-추출"><a href="#1-Column-data-추출" class="headerlink" title="1. Column data 추출"></a>1. Column data 추출</h3><ul><li>각 Column 은 $1 와 같은 형태로 필드에 접근하여 추출 할 수 있습니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># awk &#123;action&#125; filename 형식</span></span><br><span class="line">awk <span class="string">&#x27;&#123;print $1&#125;&#x27;</span> ./file_you_want.log</span><br><span class="line"></span><br><span class="line"><span class="comment"># $0 전체 column 추출</span></span><br><span class="line">awk <span class="string">&#x27;&#123;print $0&#125;&#x27;</span> ./file_you_want.log</span><br></pre></td></tr></table></figure><h3 id="2-특정-Pattern-정규표현식"><a href="#2-특정-Pattern-정규표현식" class="headerlink" title="2. 특정 Pattern : 정규표현식"></a>2. 특정 Pattern : 정규표현식</h3><ul><li>문자열 중에 <code>ADID</code> 라는 글씨가 포함된 레코드를 출력해주는 커맨드입니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">awk <span class="string">&#x27;/ADID/&#x27;</span> ./platform.log </span><br></pre></td></tr></table></figure><p>→ 출력 예시 : 20211207    ADID1234556    123$456    device3    window</p><ul><li>AWK pattern에는 정규표현식을 사용할 수 있습니다.<ul><li>pattern내에 정규표현식 구분은 <code>/regular expression/</code> (슬래쉬)로 이루어집니다.</li></ul></li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ awk <span class="string">&#x27;/[A-Z][a-z]+/&#x27;</span> ./system.log</span><br></pre></td></tr></table></figure><h3 id="3-AWK-Command-if구문"><a href="#3-AWK-Command-if구문" class="headerlink" title="3. AWK Command : if구문"></a>3. AWK Command : if구문</h3><ul><li>특정 조건에 맞는 구문을 뽑을 때, 다음과 같이 사용할 수 있습니다.</li><li>다음은 3번 필드의 값이 1과 같을 때 전체 레코드를 뽑는 커맨드 입니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">awk <span class="string">&#x27;&#123;if ($3 == 1) print ($0)&#125;&#x27;</span> ./system.log</span><br></pre></td></tr></table></figure><p>→ 출력 예시 : </p><p>20211207    ADID123456    1    device3    window</p><p>20211207    ADID123654    1    device2    android</p><p>20211207    ADID654321    1    device1    ios</p><ul><li>다음은 1번 필드가 20211206과 같고 3번 필드가 2이상인 전체 레코드를 뽑는 커맨드입니다.<ul><li>이처럼, if 구문 안에 다양한 조건들과 <code>&amp;&amp;</code>(and) <code>||</code>(or), <code>!</code>(not) 을 활용할 수 있습니다.</li></ul></li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">awk <span class="string">&#x27;&#123;if ($1 == 20211206 &amp;&amp; $3 &gt;= 2) print($0)&#125;&#x27;</span> ./system.log</span><br></pre></td></tr></table></figure><p>→ 출력 예시 :</p><p>20211206    ADID123456    2    device2    window</p><p>20211206    ADID654321    3    device3    ios</p><p>20211206    ADID432561    4    device2    android</p><ul><li><code>?</code> , <code>:</code>  의 기능 : if-else 구문<ul><li>if 구문 → $1 else $2 라는 뜻입니다.</li></ul></li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">$ awk <span class="string">&#x27;&#123;조건 ? $1 : $2&#125;&#x27;</span> ./system.log</span><br><span class="line"></span><br></pre></td></tr></table></figure><h3 id="4-AWK-Command-for-구문"><a href="#4-AWK-Command-for-구문" class="headerlink" title="4. AWK Command : for 구문"></a>4. AWK Command : for 구문</h3><ul><li>AWK 구문에서도 필요시 다음과 같이 for문을 사용할 수 있습니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">awk <span class="string">&#x27;&#123;</span></span><br><span class="line"><span class="string">for (i=0;i&lt;2;i++)</span></span><br><span class="line"><span class="string">print()</span></span><br><span class="line"><span class="string">&#125;&#x27;</span></span><br></pre></td></tr></table></figure><h3 id="5-AWK-BEGIN-END"><a href="#5-AWK-BEGIN-END" class="headerlink" title="5. AWK BEGIN, END"></a>5. AWK BEGIN, END</h3><ul><li>BEGIN과 END는 AWK 구문이 시작되기 전, 마친 후에 수행되는 커맨드입니다.</li><li>다음 커맨드는 <code>&#123;count++&#125;</code> 가 수행되기 전과 후에 Start, End 를 알리고, Count 를 세는 커맨드 입니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br></pre></td><td class="code"><pre><span class="line">awk <span class="string">&#x27;</span></span><br><span class="line"><span class="string">BEGIN &#123;</span></span><br><span class="line"><span class="string">print(&quot;Begin Processing...&quot;)</span></span><br><span class="line"><span class="string">count = 0</span></span><br><span class="line"><span class="string">&#125;</span></span><br><span class="line"><span class="string">&#123;</span></span><br><span class="line"><span class="string">count++</span></span><br><span class="line"><span class="string">&#125;</span></span><br><span class="line"><span class="string">END &#123;</span></span><br><span class="line"><span class="string">print(&quot;COUNT: &quot; count)</span></span><br><span class="line"><span class="string">print(&quot;End Processing&quot;)</span></span><br><span class="line"><span class="string">&#125;&#x27;</span> ./system.log</span><br><span class="line"><span class="string">&#x27;</span></span><br></pre></td></tr></table></figure><h2 id="AWK-정의-변수"><a href="#AWK-정의-변수" class="headerlink" title="AWK 정의 변수"></a>AWK 정의 변수</h2><ul><li>AWK 에서는 사용자의 편의를 위해 자체적으로 정의된 변수가 몇가지 있습니다. 미리 정의된 변수를 AWK command 안에서 다양하게 활용할 수 있습니다. 다음은 AWK에서 정의된 변수들중 많이 사용되는 몇가지를 추려보았습니다.</li></ul><figure class="highlight plaintext"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br></pre></td><td class="code"><pre><span class="line">  ARGV        : command line argument 배열</span><br><span class="line">ARGC        : ARGV 배열 요소의 갯수</span><br><span class="line">  CONVFMT     : 포맷팅 형식 (example: 숫자 포맷팅 형식)</span><br><span class="line">  ENVIRON     : 환경변수 배열</span><br><span class="line">  FILENAME    : 파일 이름 (경로포함)</span><br><span class="line">  FS          : 필드 구분자 (default: space)</span><br><span class="line">  NF          : 필드의 갯수</span><br><span class="line">  NR          : 현재 레코드의 순서</span><br><span class="line">  OFMT        : 문자열 출력 형식</span><br><span class="line">  OFS         : 필드 구분자 (default: space)</span><br><span class="line">  ORS         : 레코드 구분자 (default: newline)</span><br><span class="line">  RLENGTH     : match 함수에 의해 매칭된 문자열의 길이</span><br><span class="line">  RS          : 레코드 구분 문자 (default: newline)</span><br></pre></td></tr></table></figure><h2 id="쉘파이프-안에서의-AWK"><a href="#쉘파이프-안에서의-AWK" class="headerlink" title="쉘파이프 안에서의 AWK"></a>쉘파이프 안에서의 AWK</h2><ul><li>위의 사용예제들처럼 Linux CLI 환경에서 AWK command의 강력함은 확인 할 수 있었습니다. 이 외에도 쉘스크립트, 쉘파이프 안에서 AWK 를 활용하고, argument 를 전달하는지는 다음의 예제에서 확인 할 수 있습니다.</li><li>AWK command 에서 argument를 넘겨 줄 때는 <strong>-v</strong> 옵션을 사용하여 넘겨 줄 수 있습니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">test_variable=<span class="string">&quot;hello&quot;</span></span><br><span class="line">$ <span class="built_in">echo</span> | awk -v output=<span class="variable">$test_variable</span> <span class="string">&#x27;&#123; print &quot;TEST VARIABLE : &quot; output&#125;&#x27;</span></span><br><span class="line">TEST VARIABLE : hello</span><br></pre></td></tr></table></figure><p><img src="/2021/12/07/AWK-basics/Untitled.png" alt="Untitled"></p><ul><li>AWK command 를 상세하게 알고 싶다면, 그 동작 원리와 구조 또한 살펴볼게 많이 있습니다. 각자의 활용 정도에 따라 더욱 필요한 요소를 아래 reference 등의 자료를 통해 공부할 수 있을 것입니다.</li><li>이번 기회를 통해 짧게나마 AWK 를 정리 할 수 있었고, 활용 snippet code 를 남김으로써 다음 재사용시 빠르게 활용할 수 있을 것으로 기대됩니다.</li></ul><h2 id="Reference"><a href="#Reference" class="headerlink" title="Reference"></a>Reference</h2><ul><li>AWK 내에 정의된 함수와 변수 등을 자세히 알고 싶다면, 다음 documentation 을 참조하실 수 있습니다.</li></ul><p><a href="https://www.gnu.org/software/gawk/manual/gawk.html">The GNU Awk User’s Guide</a></p><p><a href="https://recipes4dev.tistory.com/171">리눅스 awk 명령어 사용법. (Linux awk command) - 리눅스 파일 텍스트 데이터 검사, 조작, 출력.</a></p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Linux/">Linux</category>
      
      
      <category domain="https://emjayahn.github.io/tags/linux/">linux</category>
      
      <category domain="https://emjayahn.github.io/tags/awk/">awk</category>
      
      
      <comments>https://emjayahn.github.io/2021/12/07/AWK-basics/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>Docker, 깔끔하고 빠른 분석.연구.개발 환경 세팅</title>
      <link>https://emjayahn.github.io/2021/11/28/Docker/</link>
      <guid>https://emjayahn.github.io/2021/11/28/Docker/</guid>
      <pubDate>Sat, 27 Nov 2021 15:34:44 GMT</pubDate>
      
      <description>&lt;h3 id=&quot;부제-데이터사이언티스트의-도커-사용기&quot;&gt;&lt;a href=&quot;#부제-데이터사이언티스트의-도커-사용기&quot; class=&quot;headerlink&quot; title=&quot;부제 : 데이터사이언티스트의 도커 사용기&quot;&gt;&lt;/a&gt;부제 : 데이터사이언티스트의 도커 사용기&lt;/h3&gt;&lt;p&gt;&lt;img src=&quot;/2021/11/28/Docker/docker-logo.png&quot; alt=&quot;docker-logo.png&quot;&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;이번 글에서는 저를 포함하여, 도커를 처음 접하는 사람들을 위해 도커(Docker)와 도커 이미지, 도커 컨테이너의 개념에 대해 살펴봅니다.&lt;/li&gt;
&lt;li&gt;간단한 도커파일 작성 예제를 통해, 자신에게 맞는 환경 세팅을 따라 해 볼 수 있습니다.</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><h3 id="부제-데이터사이언티스트의-도커-사용기"><a href="#부제-데이터사이언티스트의-도커-사용기" class="headerlink" title="부제 : 데이터사이언티스트의 도커 사용기"></a>부제 : 데이터사이언티스트의 도커 사용기</h3><p><img src="/2021/11/28/Docker/docker-logo.png" alt="docker-logo.png"></p><ul><li>이번 글에서는 저를 포함하여, 도커를 처음 접하는 사람들을 위해 도커(Docker)와 도커 이미지, 도커 컨테이너의 개념에 대해 살펴봅니다.</li><li>간단한 도커파일 작성 예제를 통해, 자신에게 맞는 환경 세팅을 따라 해 볼 수 있습니다.<span id="more"></span></li></ul><hr><figure class="highlight cpp"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">오픈 소스 A 돌리려면, X, Y, Z 버전의 개발 언어와 라이브러리가 필요하다는데?</span><br><span class="line">오픈 소스 B 돌리려면, X1, Y2, Z3 버전의 라이브러리인데?</span><br><span class="line">왜 내 맥북에서는 잘 도는데, 서버로 옮기면 왜 안돼?</span><br></pre></td></tr></table></figure><p>여러분들은 분석, 연구, 개발 환경 세팅을 어떻게 하시나요? 다양한 방법이 있을 수 있겠고, 무엇보다 자신에게 가장 편한 방법이 제일 좋은 방법일 것 입니다. 본격, 업무 시작 전 책상을 정리하고 키보드와 마우스를 한번씩 털어주는 습관이 있는 저는 제 개인 맥북과 업무 PC, 분석 및 개발서버의 환경을 깔끔(?)(단, 오로지 제 관점에서의 깔끔)하게 하는 취향이고, 세 가지의 다른 OS 환경임에도 불구하고 동일한 환경세팅을 하고 싶었습니다. </p><p>이 니즈를 해결해 줄 도커. 도커내 이미지와 컨테이너의 개념을 살펴보겠습니다.</p><p>❗️Caution❗️</p><p>초보 도커er, 데이터사이언티스트 관점에서의 도커 활용기이기에, 오정보와 더욱 효율적인 방법이 있을 수 있습니다. 댓글을 통한 피드백을 주시면 매우 감사하겠습니다!</p><h2 id="0-도커-이전에-저는"><a href="#0-도커-이전에-저는" class="headerlink" title="0. 도커 이전에 저는."></a>0. 도커 이전에 저는.</h2><p>도입부에서 말씀드렸다시피, 환경의 가상화 및 추상화는 프로젝트 단위로 환경을 관리하고 깔끔(?)한 환경 세팅을 위한 필수요소입니다. 이를 위해 제 개인 맥북과 PC 에서는 <code>Python</code> 을 위한 Pipenv, Virtualenv, Autoenv <code>C, C++</code> 를 위한 Compile 옵션과 Visual Studio의 project 단위 관리를 활용해 깔끔을 떨었습니다. 도커를 통해 이제 System level 까지 환경 추상화를 도전해보려고 합니다.</p><h2 id="1-도커-Docker-란"><a href="#1-도커-Docker-란" class="headerlink" title="1. 도커(Docker)란?"></a>1. 도커(Docker)란?</h2><p><img src="/2021/11/28/Docker/Docker-Website-2018-Diagrams-071918-V5_26_Docker-today.png" alt="Docker-Website-2018-Diagrams-071918-V5_26_Docker-today.png"></p><p>도커를 한마디로 정의하면, <strong>컨테이너</strong> 단위로 우리의 서비스와 환경을 패키징하고, 애자일(Agile)하게 동일한 환경을 제공 할 수 있게 하는 오픈 소스 프레임워크 입니다. 도커 컨테이너의 패키징 기능은 우리가 사용하는 개발 언어, 라이브러리 뿐만 아니라, 코드, 런타임, 시스템 설정, 커널 및 OS 까지 한 가지 혹은 몇 가지의 컨테이너로 패키징 할 수 있게 합니다. 도커를 사용하면, 분석가 및 데이터사이언티스트들은 다음과 같은 이점을 활용할 수 있습니다.</p><ul><li>분석 및 개발 환경을 컨테이너를 통해 추상화하여, 동일한 환경을 제공</li><li>한 서버내에서 여러 인원이 작업을 수행할 때, VM과 같은 기존 가상환경보다 더욱 효율적인 리소스를 활용</li><li>여러 프로젝트를 진행하지만, 각각 다른 환경에서 수행되어야 할 때 컨테이너 단위로 각 환경을 관리</li><li>개발 환경과 배포 환경을 동일하고 빠르게 환경 설정</li><li>오픈소스와 라이브러리를 많이 사용하는 분석, 모델링 업무 특성상 OS 마다 다른 설치 방법을 고민할 필요 없음!</li></ul><h2 id="2-도커-컨테이너-Docker-container-란"><a href="#2-도커-컨테이너-Docker-container-란" class="headerlink" title="2. 도커 컨테이너(Docker  container)란?"></a>2. 도커 컨테이너(Docker  container)란?</h2><p><img src="/2021/11/28/Docker/docker-container.png" alt="귀여운 도커 컨테이너"></p><p>귀여운 도커 컨테이너</p><p>도커 컨테이너는 <strong>도커를 이루는 가장 기본 단위</strong>입니다. 위에서도 살펴보았듯이, 우리가 감싸려고 하는 어플리케이션, 개발환경을 패키징하는 추상 객체입니다. 기존 시스템 OS와 독립된 공간에서 모든 프로세스가 진행될 수 있게끔하는 가상화 기술입니다. </p><p>도커 컨테이너가 기존의 Virtual Machine 과 다른 점은 전체 호스트 OS를 가상화하여 활용할 수 있다는 점입니다. Virtual Machine 은 게스트 OS(가상화한 사용자)가 호스트 OS 위에 올라가 동작하여, 시스템 리소스를 제한적으로 사용할 수 밖에 없는 단점이 있는 반면에, 도커의 경우 호스트 OS 전체를 사용하여 (게스트 OS 개념이 없음) 시스템 리소스를 전부 사용 할 수 있습니다.</p><p><img src="/2021/11/28/Docker/container-vm-whatcontainer_2.png" alt="가상환경을 사용했을 때 시스템구조, 이미지 출처 : docker.com"></p><p>가상환경을 사용했을 때 시스템구조, 이미지 출처 : docker.com</p><p><img src="/2021/11/28/Docker/docker-containerized-appliction-blue-border_2.png" alt="도커를 사용했을 때 시스템구조, 이미지 출처 : docker.com"></p><p>도커를 사용했을 때 시스템구조, 이미지 출처 : docker.com</p><h2 id="3-도커-이미지-Docker-Image-란"><a href="#3-도커-이미지-Docker-Image-란" class="headerlink" title="3. 도커 이미지(Docker Image)란?"></a>3. 도커 이미지(Docker Image)란?</h2><p><img src="/Untitled.png" alt="이미지 출처: [https://kimck.tistory.com/entry/Docker-File-Docker-Image를-만들기-위한-명세서](https://kimck.tistory.com/entry/Docker-File-Docker-Image%EB%A5%BC-%EB%A7%8C%EB%93%A4%EA%B8%B0-%EC%9C%84%ED%95%9C-%EB%AA%85%EC%84%B8%EC%84%9C)"></p><p>이미지 출처: <a href="https://kimck.tistory.com/entry/Docker-File-Docker-Image%EB%A5%BC-%EB%A7%8C%EB%93%A4%EA%B8%B0-%EC%9C%84%ED%95%9C-%EB%AA%85%EC%84%B8%EC%84%9C">https://kimck.tistory.com/entry/Docker-File-Docker-Image를-만들기-위한-명세서</a></p><p>도커 이미지는 <strong>도커 컨테이너의 설계도</strong>입니다. 도커 이미지를 통해 컨테이너 내부에 어떤 환경을 포함하여 패키징 할 것인지 계획을 세웁니다. 도커 이미지 생성 방법은 (1) <a href="https://hub.docker.com/">DockerHub</a> 를 활용해 Github처럼 공개된 이미지 소스를 활용하는 방법이 있고, (2) Dockerfile 을 통해 도커 이미지를 빌드하는 방법이 있습니다. 다음 예제에서 간단한 Dockerfile 작성을 통해 이미지를 만들고 Python과 jupyter 환경을 컨테이너화 해보겠습니다.</p><h2 id="4-일단-만들어보자"><a href="#4-일단-만들어보자" class="headerlink" title="4. 일단 만들어보자!"></a>4. 일단 만들어보자!</h2><p>도커를 설치하는 자세한 방법은 이 글에서는 생략하도록 하겠습니다. 다음과 같은 방법으로 쉽게 설치 할 수 있으니, 자신의 환경에 맞게 설치하시고 다음을 진행해주세요!</p><p><code>Linux</code> : yum, apt 등 OS 에 맞는 방법으로 설치해주세요.</p><p><code>Mac</code> : Intel chip과 Apple M1 chip 에 따라 각각 설치해주세요.</p><p><code>Window</code> : Docker Desktop for Windows 를 설치해주세요 (Window os 종류에 맞게 WSL, Hyper-V 기반에 맞는 docker 설치를 진행해 주세요)</p><p>본 실습 예제의 결과물은 Docker 환경에서 (1) Python3.7 , (2) Jupyter Notebook , (3) Numpy, Pandas 라이브러리 설치 (4) 호스트 파일시스템과 도커 파일시스템을 연결 설정까지 이루어지겠습니다.</p><h3 id="4-1-도커-실행"><a href="#4-1-도커-실행" class="headerlink" title="4.1 도커 실행"></a>4.1 도커 실행</h3><ul><li>도커가 정상적으로 설치 되었으면, 도커의 실행 여부를 확인하고 도커를 켜고 끄는 방법을 알아봅니다.</li></ul><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># 도커 실행 여부 확인</span></span><br><span class="line">$ systemctl status docker</span><br><span class="line"></span><br><span class="line"><span class="comment"># 도커 실행</span></span><br><span class="line">$ sudo systemctl start docker</span><br><span class="line"></span><br><span class="line"><span class="comment"># 도커 종료</span></span><br><span class="line">$ sudo systemctl stop docker</span><br></pre></td></tr></table></figure><h3 id="4-2-Dockerfile-작성"><a href="#4-2-Dockerfile-작성" class="headerlink" title="4.2 Dockerfile 작성"></a>4.2 Dockerfile 작성</h3><p>먼저, 다음과 같이 작성하고 현재 실습 디렉토리에 <code>Dockerfile</code> 로 저장해 줍니다.</p><figure class="highlight docker"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># Dockerfile</span></span><br><span class="line"><span class="keyword">FROM</span> python:<span class="number">3.7</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">RUN</span><span class="language-bash"> pip install --upgrade pip</span></span><br><span class="line"><span class="keyword">RUN</span><span class="language-bash"> pip install jupyter</span></span><br><span class="line"><span class="keyword">RUN</span><span class="language-bash"> pip install numpy</span></span><br><span class="line"><span class="keyword">RUN</span><span class="language-bash"> pip install pandas</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">EXPOSE</span> <span class="number">8888</span></span><br><span class="line"></span><br><span class="line"><span class="keyword">CMD</span><span class="language-bash"> <span class="built_in">tail</span> -f /dev/null</span></span><br></pre></td></tr></table></figure><ul><li><code>FROM</code> : <a href="https://hub.docker.com/">DockerHub</a> 에 공개되어 있는 오픈 이미지를 우리 이미지의  base 로 하는 의미입니다. python3.7 버전의 오픈 이미지를 바탕으로 우리 이미지를 빌드할 것입니다.</li><li><code>RUN</code> : 도커 이미지가 빌드되고, 수행되는 명령절입니다. Python 기반의 분석, 개발환경 세팅을 위하는 것인 만큼 pip를 활용해 해당 패키지를 설치해 줍니다.</li><li><code>EXPOSE</code> : 우리는 jupyter 환경을 설치할 예정이므로, jupyter 가 사용하는 8888 번 포트를 개방해줍니다.</li><li><code>CMD</code> : 컨테이너 내부 shell에서 수행되는 커맨드입니다. 배포 및 운용을 위한 컨테이너라면 CMD python3 ~~~.py 를 해주겠죠. 다만, 우리는 컨테이너를 계속 실행된 상태에서 분석 및 개발을 위한 환경이기 때문에 컨테이너 동작 이후 종료 되지 않아야 합니다. 따라서 &#x2F;dev&#x2F;null page 를 계속 읽어드리는 명령을 통해 환경 유지를 할 수 있습니다.</li></ul><h3 id="4-3-Docker-image-빌드"><a href="#4-3-Docker-image-빌드" class="headerlink" title="4.3 Docker image 빌드"></a>4.3 Docker image 빌드</h3><p>위에서 작성한 Dockerfile을 바탕으로 아래 명령어를 통해 도커 이미지를 빌드해 줍니다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># $ docker image builld -t 이미지명:태그명 Dockerfile경로</span></span><br><span class="line">$ docker image build -t python-jupyter:stable .</span><br></pre></td></tr></table></figure><ul><li><code>-t</code> : 생성될 이미지에 태그를 붙여줍니다. 태그를 생략하게 되면, :latest 가 default 로 붙습니다.</li><li>Dockerfile 경로 : docker image build 명령은 default 로 현재 디렉토리의 Dockerfile 을 찾습니다. 파일 디렉토리와 파일명이 다른 도커파일을 지정하고 싶다면, <code>-f</code> 을 통해 경로&#x2F;파일명을 다르게 설정할 수 있습니다.</li></ul><h3 id="4-4-Docker-container-실행"><a href="#4-4-Docker-container-실행" class="headerlink" title="4.4 Docker container 실행"></a>4.4 Docker container 실행</h3><p>Docker image 를 바탕으로 도커 컨테이너를 실행해 줍니다. 도커 컨테이너 실행시 주의할 점이 몇가지 있습니다. 먼저 도커는 안정적인 배포와 운영을 위해 한번 실행된 컨테이너의 설정과 환경을 변경하기 쉽지 않습니다. 아니, 설정과 환경을 변경할 수 없습니다. (시도하지 마세요. 저처럼 너무나 고생하게 됩니다.) 따라서 컨테이너를 실행 할 때, 고려하는 요소를 모두 포함하여 실행시켜주는 것이 중요합니다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment"># $ docker run (각 종 옵션) DockerImage명</span></span><br><span class="line">$ docker run -d --name python-jupyter-stable -p 8888:8888 -v \</span><br><span class="line">/home/user-name/workspace:/home/user-name/workspace python-jupyter:stable </span><br></pre></td></tr></table></figure><ul><li><code>-d</code> : Docker container 실행을 백그라운드에서 실행하는 옵션입니다. 도커는 안정적인 운영을 위해 foreground 실행을 하게 되면 커맨드lock 이 걸리게 됩니다.</li><li><code>—-name</code> : 실행되는 컨테이너의 이름 설정</li><li><code>-p</code> : 호스트 서버의 포트와 컨테이너 포트 연결. 우리는 jupyter notebook 이 사용할 8888번 포트를 서로 연결해 줍니다.</li><li><code>-v</code> : 이 옵션을 통해 컨테이너 내부에서 저장되는 파일시스템과 호스트 서버의 파일시스템을 연결해 줍니다. 호스트 파일시스템을 컨테이너에 마운트 시킨다는 개념으로 생각합니다. <code>호스트서버파일시스템:컨테이너내부파일시스템</code></li><li>python-jupyter:stable : 위에서 생성한 이미지명:태그</li></ul><h3 id="4-5-Docker-container-shell-접속"><a href="#4-5-Docker-container-shell-접속" class="headerlink" title="4.5 Docker container shell 접속"></a>4.5 Docker container shell 접속</h3><p>Docker container 가 정상적으로 만들어졌다면, container 내부로 들어가 jupyter notebook  을 실행해 주어야 합니다. container 내부 shell 에 접속하는 방법은 다음과 같습니다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ docker <span class="built_in">exec</span> -it python-jupyter-stable bash</span><br></pre></td></tr></table></figure><p>위 커맨드를 이용해 컨테이너 내부에 접속해, jupyter notebook 을 실행해부면 됩니다.</p><figure class="highlight bash"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">$ jupyter notebook --allow-root &amp; <span class="comment">#background에서 jupyter notebook 실행</span></span><br></pre></td></tr></table></figure><h3 id="5-마치며"><a href="#5-마치며" class="headerlink" title="5. 마치며"></a>5. 마치며</h3><p>간단한 실습 예제를 통해 다양한 OS 환경에서도 동일한 분석 및 개발 환경 세팅에 대해 알아보았습니다. 위에서 작성한 Dockerfile 만 있다면, 제가 어느 환경에서 작업하더라도 docker image build, docker run 을 통해 안정적인 분석과 연구 개발을 진행 할 수 있습니다. 본 글을 통해, 도커의 필요성과 도커의 개념을 이해하고, 도커를 처음 접하는 분들에게 본격적인 도커의 소개가 되었으면 하는 바램입니다. 저 역시, 앞으로 도커를 이용해 더욱 Agile하고 고급 환경구축을 시도해 볼 것이며, 새롭게 알게 되는 내용들은 알기쉽게 정리하여 본 블로그와 PAP 커뮤니티를 통해 소개해드릴 예정입니다.</p>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/Docker/">Docker</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Docker/">Docker</category>
      
      <category domain="https://emjayahn.github.io/tags/%EB%8F%84%EC%BB%A4/">도커</category>
      
      
      <comments>https://emjayahn.github.io/2021/11/28/Docker/#disqus_thread</comments>
      
    </item>
    
    <item>
      <title>[C++] 2.연산자(Operators)</title>
      <link>https://emjayahn.github.io/2021/10/14/C-%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%89%E1%85%A1%E1%86%AB%E1%84%8C%E1%85%A1-Operators/</link>
      <guid>https://emjayahn.github.io/2021/10/14/C-%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%89%E1%85%A1%E1%86%AB%E1%84%8C%E1%85%A1-Operators/</guid>
      <pubDate>Thu, 14 Oct 2021 09:51:33 GMT</pubDate>
      
      <description>&lt;p&gt;C와 C++이 필요해, 제 머릿속 메모리의 Recall 이 필요했습니다. 요즘엔 주로 Python을 사용하다보니, C, C++ 의 기초문법과 CodeStyle을 다시 떠올려야합니다. 학생 때 열심히 공부했으나 방구석 한켠에 먼지 쌓인 열혈강의 C, C++책과 인터넷자료, 유튜브를 통해 Remind하고 공부하는 내용을 요약 정리하려고 합니다. 본 글에서는 C에 대한 내용보다 C++ 내용이 주를 이룰 예정입니다. &lt;/p&gt;
&lt;p&gt;모든 연산자에 대한 리뷰보다는 조금 까다롭거나, 쉽게 잊을 수 있는 연산자 등을 위주로 정리하려고 합니다.&lt;/p&gt;</description>
      
      
      
      <content:encoded><![CDATA[<link rel="stylesheet" class="aplayer-secondary-style-marker" href="/assets/css/APlayer.min.css"><script src="/assets/js/APlayer.min.js" class="aplayer-secondary-script-marker"></script><p>C와 C++이 필요해, 제 머릿속 메모리의 Recall 이 필요했습니다. 요즘엔 주로 Python을 사용하다보니, C, C++ 의 기초문법과 CodeStyle을 다시 떠올려야합니다. 학생 때 열심히 공부했으나 방구석 한켠에 먼지 쌓인 열혈강의 C, C++책과 인터넷자료, 유튜브를 통해 Remind하고 공부하는 내용을 요약 정리하려고 합니다. 본 글에서는 C에 대한 내용보다 C++ 내용이 주를 이룰 예정입니다. </p><p>모든 연산자에 대한 리뷰보다는 조금 까다롭거나, 쉽게 잊을 수 있는 연산자 등을 위주로 정리하려고 합니다.</p><span id="more"></span><h3 id="산술연산자-x2F-x3D"><a href="#산술연산자-x2F-x3D" class="headerlink" title="산술연산자(+, -, *, &#x2F;, %, +&#x3D;)"></a>산술연산자(+, -, *, &#x2F;, %, +&#x3D;)</h3><p>&#x2F; : 나누기,</p><figure class="highlight cpp"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br></pre></td><td class="code"><pre><span class="line"><span class="comment">// 이 때, 정수와 정수간의 연산은 result 에는 2가 저장됨</span></span><br><span class="line"><span class="type">int</span> result = <span class="number">7</span> / <span class="number">3</span>;</span><br><span class="line"><span class="comment">// 이 때, 나머지는 모듈러스 연산자로 계산</span></span><br><span class="line"><span class="type">int</span> remain = <span class="number">7</span> % <span class="number">3</span>;</span><br><span class="line"></span><br><span class="line"><span class="comment">// 이 경우는, 에러는 발생시키지 않으나 warning sign 을 확인할 수 있음.</span></span><br><span class="line"><span class="comment">// int type의 result에 float 혹은 double 형태의 연산값을 저장하기에 warning sign 발생</span></span><br><span class="line"><span class="type">int</span> result = <span class="number">7.0</span> / <span class="number">3.0</span>;</span><br><span class="line"><span class="comment">// 이를 막기위해 작성자의 의도를 담아 TypeCasting 을 해주는 것을 추천</span></span><br><span class="line"><span class="type">int</span> result = (<span class="type">int</span>)(<span class="number">7.0</span> / <span class="number">3.0</span>);</span><br></pre></td></tr></table></figure><p>% : Modulus 나머지 연산자, Modulus는 argument 가 모두 정수여야 계산 가능. 실수간의 Modulus계산은 에러</p><p>+&#x3D; : a +&#x3D; 10 → a &#x3D; a + 10</p><h3 id="증감연산자-—"><a href="#증감연산자-—" class="headerlink" title="증감연산자(++, —)"></a>증감연산자(++, —)</h3><p>증감연산자는 정수의 경우 1을 더하거나 빼는 경우이지만, 포인터에서는 메모리 단위로 증가하는 것.</p><p>즉, 증감연산자는 unit 단위로 증가 또는 감소 하는 연산</p><p>++ : a++ → a &#x3D; a + 1, ++a → a &#x3D; a + 1</p><p>— : a— → a &#x3D; a - 1, —a → a &#x3D; a-1</p><p>앞에 붙는 경우(전치)와 뒤에 붙는 경우(후치)는 연산의 우선순위가 변화. 후위는 우선순위가 가장 마지막, 전위는 우선순위가 먼저 수행.</p><figure class="highlight cpp"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre></td><td class="code"><pre><span class="line"><span class="type">int</span> result = <span class="number">10</span>;</span><br><span class="line"><span class="type">int</span> a = <span class="number">0</span>;</span><br><span class="line">a = result++; <span class="comment">// a=10, result=11</span></span><br><span class="line"></span><br><span class="line">result = <span class="number">10</span>;</span><br><span class="line">a = <span class="number">0</span>;</span><br><span class="line">a = ++result; <span class="comment">// a=11, result=11</span></span><br></pre></td></tr></table></figure><h3 id="논리연산자-Booleans-not-amp-amp-and-or"><a href="#논리연산자-Booleans-not-amp-amp-and-or" class="headerlink" title="논리연산자(Booleans), !(not), &amp;&amp;(and), ||(or)"></a>논리연산자(Booleans), !(not), &amp;&amp;(and), ||(or)</h3><p>true: 0이 아닌 모든 값, 일반적으로 1</p><p>false: 0</p><p>boolean 자료형: <code>bool</code> (true, false)</p><figure class="highlight cpp"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line"><span class="type">bool</span> istrue = <span class="literal">true</span>; <span class="comment">// isture -&gt; true</span></span><br><span class="line"><span class="type">int</span> istrue_integer = <span class="literal">true</span>; <span class="comment">//istrue_integer -&gt; 1</span></span><br></pre></td></tr></table></figure><h3 id="비교연산자-x3D-x3D-≠-lt-gt-≤-≥"><a href="#비교연산자-x3D-x3D-≠-lt-gt-≤-≥" class="headerlink" title="비교연산자(&#x3D;&#x3D;, ≠, &lt;,&gt;, ≤,≥)"></a>비교연산자(&#x3D;&#x3D;, ≠, &lt;,&gt;, ≤,≥)</h3><p>&#x3D;&#x3D; : equal</p><p>! &#x3D;: not equal</p><h3 id="삼항연산자"><a href="#삼항연산자" class="headerlink" title="삼항연산자"></a>삼항연산자</h3><p>간단한 if-else 문의 한줄 표현</p><figure class="highlight cpp"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><span class="line"><span class="type">int</span> a = <span class="number">10</span>;</span><br><span class="line"></span><br><span class="line">a == <span class="number">10</span> ? a = <span class="literal">true</span> : a = <span class="literal">false</span>;</span><br><span class="line"></span><br><span class="line"><span class="comment">//위 결과를 if else 문으로 표현하면 다음과 같다.</span></span><br><span class="line"><span class="keyword">if</span> (a == <span class="number">10</span>)&#123;</span><br><span class="line">a=<span class="literal">true</span>;</span><br><span class="line">&#125;</span><br><span class="line"><span class="keyword">else</span>&#123;</span><br><span class="line">a=<span class="literal">false</span>;</span><br><span class="line">&#125;</span><br></pre></td></tr></table></figure>]]></content:encoded>
      
      
      <category domain="https://emjayahn.github.io/categories/Development/">Development</category>
      
      <category domain="https://emjayahn.github.io/categories/Development/C/">C++</category>
      
      
      <category domain="https://emjayahn.github.io/tags/Language/">Language</category>
      
      <category domain="https://emjayahn.github.io/tags/C/">C++</category>
      
      <category domain="https://emjayahn.github.io/tags/C/">C</category>
      
      
      <comments>https://emjayahn.github.io/2021/10/14/C-%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%89%E1%85%A1%E1%86%AB%E1%84%8C%E1%85%A1-Operators/#disqus_thread</comments>
      
    </item>
    
  </channel>
</rss>