일단 더미데이터란? 특정 데이터를 테스트나 데모용도로 사용하기 위해 임의로 만든 데이터입니다! 저희도 과제를 하고 API를 작성함에 있어서 더미데이터를 넣어주고 test하는것이 필요한 경우가 많죠! 하지만 저도 이런점들을 잘 몰랐을때 그냥 Main코드에 더미데이터를 추가하는 코드를 넣거나 그냥 test API마다 값을 달리해서 추가하는 경우가 종종 있었습니다!! 따라서 아래와 같은 방식을 사용해서 더미데이터를 집어넣는다면 코드를 좀더 간결하고 작업하기 쉽게 만들수 있겠죠?? 1. data.sql 스프링 부트에서 (src/main/resource) 안에 만들어주시면 어플리케이션 "실행"시에 자동으로 실행됩니다! 다음과 같이 쿼리문을 만들어서 실행시켜주면 자동으로 더미데이터를 만들수가 있습니다! 어떻게 만들..

Example 2주차의 HTTP와 API 통신! 1. 설치방법! 파이썬 가상환경을 위한 아나콘다 설치 각 OS에 맞게 자기 OS 설치해주시면 됩니다… 저는 linux라.. 대부분 mac이던데… 부럽습니다.. Installation — Anaconda documentation 설치 후 다음 명령어로 가상환경 생성 및 접속 후 git과 pip 설치 conda create -n diffusion python=3.10.6 conda activate diffusion conda install git pip 이후 stable diffusion을 코드없이 webui로 실행할수 있는 git repo 가져옵니다. git clone git repo 설명 따라가셔도 됩니다. https://github.com/AUTOMATI..

#1 Stable Diffusion이란? 많이들 흔히 알고 계시는 Stable diffusion이란 이미지 생성 AI모델이 있죠.? 위에건 제가 이러한 AI모델의 동작방식을 알고 진행하는것이 좋을것 같아 모델의 동작과정을 한번 설명해보려 합니다. 모델의 목표! 영어의 번역에서도 알수 있다시피 안정적인 "확산"에 초점을 맞추어 진행하는 모델입니다. 기본적으로 AI모델은 데이터를 통해서 데이터의 "패턴"을 파악하고 "보지못한" 데이터에 대해서 예측을 하는 것이 AI라고 할수 있죠 마찬가지로! Stable Diffusion (줄여서 SD라고 하겠습니다) 은 어떻게 학습이 되었는가?를 먼저 확인해보도록 하죠 SD는 대량의 [ 이미지 데이터 + 이미지에 관련된 Text => 원본 이미지 데이터 ] 로 학습이 되었..

# 왜? python 의 pip란 코딩에 필요한 다양한 라이브러리를 SDK로 쉽게 설치할수 있도록 도와줍니다. 따라서 협업에서는 사람들에게 빠르게 공유할 필요성이 있는데 이때 custom library를 설정해서 gitub의 requirements.txt에 공유해주기만 한다면 코드에 바로바로 사용 가능하다는 장점이 있습니다! ``` pip install git+http://{github repo 주소}.git ``` 저는 AI개발자가 쉽게 google cloud에 접속해 모델파일을 올리거나, 저장소에 있는 모델파일들을 download하는 커스텀 라이브러리를 사용하는 방식을 적용해 보겠습니다. 일단 google cloud 계정이 없으시면 만들어주시고 google cloud project에 접근가능한 ser..

실습 1주차 : 딕셔너리 시리즈 변환 # -*- coding: utf-8 -*- # pandas 불러오기 import pandas as pd # k:v 구조를 갖는 딕셔너리를 만들고, 변수 dict_data에 저장 dict_data = {'a': 1, 'b': 2, 'c': 3} # 판다스 Series() 함수로 딕셔너리(dict_data)를 시리즈로 변환. 변수 sr에 저장 sr = pd.Series(dict_data) # 변수 sr의 자료형 출력 print(type(sr)) print('\n') # 변수 sr에 저장되어 있는 시리즈 객체를 출력 print(sr) a 1 b 2 c 3 dtype: int64 import pandas as pd # 리스트를 시리즈로 변환하여 변수 sr에 저장 list_d..

Pandas 목적 다양한 소스로부터 수집하는 데이터 형태가 다양한데 동일한 구조고 통합하기 위해 사용 종류 Series :1차원 배열 DataFrame : 2차원 배열 Series 딕셔너리 구조와 비슷 → 시리즈로 변환 인덱스 종류 : 정수형 위치인덱스 , 인덱스 이름 (column) 인덱스 vs. 데이터 값배열 확인 index = sr.index val = sr.values 인덱스 유형에 따라 쓰는 방법 다름 Series 생성시 index 전달 바로 가능 여러개 index 선택시 # [[]] 여러개 범위 선택시 # [1:3] , arr[’이름’:’나이’] DataFrame 2차원 배열 열 → 시리즈 객체 #각 열은 공통의 속성을 가져야함 행 → 개별 관측대상에 대한 속성데이터 record 행 / 열 i..

AutoEncoder 개념 기본적으로 위와 같은 Layer로 구성이 된 형태를 AutoEncoder라고 합니다. 비지도 기반의 학습방법을주로 사용하면서 기본형태를 Input과 Output 출력층이 같습니다. 그 이유로는 Input값에서 뽑아낸 [code] (특징값) 을 사용해서 같은 형태의 Output으로 나오면서 이러한 [code]에서 유용한 feature들을 뽑아내는지 확인하는 과정을 통하기 때문에 같은 크기의 출력층을 가집니다. 위와 같은 이유로 Encoder와 Decoder 부분으로 분리할수가 있는데 이를 그림으로 살펴보면 다음과 같은형태가 나옵니다. 입력값으로부터 feature를 뽑아내는 부분을 encoder, feature로부터 output을 만들어내는 과정을 decoder라고 주로 합니다. ..

Feast 란? MLOps에서 등장하는 Feature Store의 Framework중 하나 ML모델에서 사용하는 Feature들의 정보를 registry를 등록해 정규화된 방식으로 원하는 Feature 를 가져올수 있는 프레임워크입니다. 자세한 내용은 공식사이트에서 확인 https://docs.feast.dev/ Why Feast? open source 프로젝트로 다양한 클라우드와 연계해서 사용가능 (AWS, GCP등) ML, Data분야에서 사용되는 Python으로 쉽게 설계 가능 확장성이 용이함 Feast 구성 일단 FeatureView를 통해서 다양한 Feature, Entitiy, Data Source에 접근가능 Data Source란 말 그대로 Data의 형태 Feature ? Data의 nam..

AI 개발을 하면서 미리 Demo Version을 만들어야 하는 경우들이 종종 있다. 이럴때 간편하고 빠르게 AI Demo 를 공유해서 서 Server까지 열어 줄수 있는 데 이 때 유용한 Streamlit을 활용해 보는 예시를 들어보겠다. 일단 streamlit은 주로 데이터시각화에 유용하게 맞춰줘있고 다양한 database를 화면에 바로바로 보여줄수있는 편리한 기능까지 마련되어있다 공식사이트는 아래 link에서 확인하세용 https://docs.streamlit.io/ Streamlit Docs Join the community Streamlit is more than just a way to make data apps, it's also a community of creators that share..

Attention is all you need로 발표된 논문 기존의 자연어 처리에서 RNN, LSTM, GRU 방식등을 사용하지 않고 Attention이란 개념만을 사용한 것이다 Translation을 예시로 들면 How was your day -> Comment se passe ta journee 로 번역을 시도할때 기존의 문제점 -> Encoder-Decoder 아키텍쳐의 경우에 Decoder에 들어가는 input이 번역하기전 단어들 ,즉 How was your day의 Encoding을 거친 Context vector를 모두 거쳐 "마지막" hidden state만 Decoder의 input으로 들어가는 문제점이 있다. 이게 왜 문제점이냐 하면은 순서대로 가정했을때 How-> comment , Ho..