공부기록

1. Git repo생성: 프로젝트 디렉토리를 만들고, 해당 디렉토리로 이동합니다. Git을 초기화하여 새로운 Git repo를 생성합니다. 2. .gitignore 파일 생성: 프로젝트에서 생성되는 임시 파일 및 빌드 관련 파일을 무시할 수 있는 .gitignore 파일을 생성합니다. 3. 도커 컨테이너 설정: 도커 이미지를 빌드하고 컨테이너를 실행하는 Dockerfile을 작성합니다. (requirements.txt에 사용할 파이썬 라이브러리와 버전 기재, 아래는 requirements파일 작성 예시) spacy==3.0.6 scikit-learn==0.24.1 # requirements.txt에 기재된 패키지 설치하는 명령어 pip install -r requirements.txt 4. 도커 이미지..

도커(컨테이너)를 써야하는 이유? https://www.44bits.io/ko/post/why-should-i-use-docker-container 왜 굳이 도커(컨테이너)를 써야 하나요? - 컨테이너를 사용해야 하는 이유 컨테이너는 서버 애플리케이션을 배포하고 서버를 운영하는 표준적인 기술이 되어가고 있습니다. 하지만 처음 사용해본다면 그 장점이 잘 와닿지 않을 수도 있습니다. 왜 굳이 도커 컨테이너를 www.44bits.io 기본 가이드 https://subicura.com/2017/01/19/docker-guide-for-beginners-2.html 초보를 위한 도커 안내서 - 설치하고 컨테이너 실행하기 초보를 위한 도커 안내서 2번째 글입니다. 도커의 기본적인 내용을 이야기 했던 첫번째 글에 이..

Pretraing 대규모 텍스트 데이터를 사용하여 모델을 사전 학습시키는 과정 모델이 언어의 기본 구조, 문법, 어휘, 맥락 등을 이해하도록 학습됨 Pretraining을 마친 모델은 일반적인 언어 이해 능력을 가추게 됨 Kobart, T5, HuggineFace와 같은 모델 아키텍처가 사용됨 Fine-tuning Pretraining 이후 단계 특정 작업에 해당 모델을 맞추도록 학습시킴

자연어 데이터 전처리 과정 문장 내에서 특수 문자나 공백 문자 등 의미를 가지지 않는 문자 제거 (정제, Cleaning) 문장을 단어 혹은 최소한의 의미를 가지는 토큰(token) 단위로 분리 (토큰화, Tokenization) 토큰화 알고리즘에 따라서 토큰화된 결과가 달라질 수 있음 분리된 단어(토큰)에서 같은 의미의 다른 표현을 통일 단어의 원형을 뽑아내는 어간(Stem) 추출 (Stemming) 동사의 기본형 같은 표제어로 통일하는 표제어 추출 (Lemmatization) 영어의 관사(a, an, the)와 같은 문법적으로는 중요하지만 큰 의미를 가지지 않는 불용어(Stopword) 제거 토큰화 된 단어들을 벡터 형태로 임베딩(Embedding)

RNN "Recurrent Neural Network", 순환 신경망 시퀀스 데이터를 처리하는 데 사용됨 시퀀스 데이터는 순서에 의미가 있는 데이터 이전 정보를 메모리처럼 사용하여 순차 데이터의 패턴을 학습하고 예측하는 데 유용 장기 의존성 문제로 긴 시퀀스를 처리하는 데 어려움이 있음 위 문제에 대한 대안으로 LSTM 같은 변형된 RNN 아키텍처가 개발됨 Transformer 자연어 처리와 기계 번역과 같은 작업에서 사용되는 딥러닝 아키텍처 RNN(순환 신경망)이나 CNN(합성곱 신경망)을 사용하지 않고, 대규모 병렬 처리가 가능한 구조를 갖고 있어 학습 속도를 빠르게 만드는데 도움 어텐션 메커니즘을 기반으로 함 어텐션 메커니즘이란 입력 시퀀스 내의 각 요소가 다른 요소에 얼마나 중요한지를 계산하는 방..

활성화 함수 인공 신경망의 각 뉴런이 어떻게 동작하는지 결정하는 것 이미지 분석을 위해 사용되는 활성화 함수 ReLU: 입력값이 양수인 경우에는 그 값을 그대로 사용하고 음수인 경우에는 0을 출력. 모델을 빠르게 학습시키고 복잡한 패턴을 감지하는데 도움을 줌. 시그모이드: 0과 1 사이의 값을 출력하여 이진 분류 문제에 사용될 수 있음. 이미지에 어떤 객체가 존재하는 확률을 모델링하는데 유용. 소프트맥스: 다중 클래스 분류 문제에서 사용됨. 이미지가 여러 카테고리 중 어느 하나에 속하는지 결정할 때 유용.

출처: 인프런 ‘초급자를 위한 손에 잡히는 딥러닝’ 30분 요약 강좌 학습이란? 한 컴퓨터 프로그램이 어떤 과제류 T에 속하는 과제들을 수행하며 그 수행의 성과를 측정한 측도가 P라고 할 때, 만일 어떤 경험 E 때문에 T의 어떤 과제에 대한 성과 측도 P가 개선되었다면, 그 컴퓨터 프로그램은 경험 E로부터 학습한다고 말할 수 있다. KDD 분석 절차 KDD(Knowlege Discovery in Databases)는 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 데이터 마이닝 프로세스. 데이터 선택 (목표 데이터) 데이터 전처리 (전처리 데이터) 데이터 변환 (데이터 변환) 데이터 마이닝 (패턴) 데이터 마이닝 결과 평가 (지식) 데이터 생성 import pandas a..

문제 N을 입력받은 뒤, 구구단 N단을 출력하는 프로그램을 작성하시오. 출력 형식에 맞춰서 출력하면 된다. 입력 첫째 줄에 N이 주어진다. N은 1보다 크거나 같고, 9보다 작거나 같다. 출력 출력형식과 같게 N*1부터 N*9까지 출력한다. n = int(input()) for i in range(1,10): print(n, '*', i, '=', n*i)

지난주 일주일동안 완성하려고 했던건데 주말부터 비실거리기 시작하더니 코로나 양성이 떠버렸다... 아직 몸이 썩 좋지는 않지만 갑자기 마음 급한 느낌이 들어 다시 후다닥 시작해본다! 램덤 비밀번호 생성 함수 자바스크립트는 익숙하지 않은 관계로 gpt의 도움을 살짝 받아 적은 코드. 근데 이제 실행이 안된다... 후다닥 설치 완료! 설치하고 다시 node -v 명령어로 버전확인을 해보았지만 똑같은 오류 메세지가 떴다. 혹시 몰라 윈도우 명령 프롬프트에 확인을 해보니 node 버전이 잘 떴다. 음 그럼 visual studio code 껐다키면 되겠구나 싶어서 껐다키니깐 성공! 랜덤 숫자도 잘 생성되는걸 확인할 수 있다. 화면에 뿌려주기까지 완료! window.onload = function() { setRe..

문제 준규가 가지고 있는 동전은 총 N종류이고, 각각의 동전을 매우 많이 가지고 있다. 동전을 적절히 사용해서 그 가치의 합을 K로 만들려고 한다. 이때 필요한 동전 개수의 최솟값을 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N과 K가 주어진다. (1 ≤ N ≤ 10, 1 ≤ K ≤ 100,000,000) 둘째 줄부터 N개의 줄에 동전의 가치 Ai가 오름차순으로 주어진다. (1 ≤ Ai ≤ 1,000,000, A1 = 1, i ≥ 2인 경우에 Ai는 Ai-1의 배수) 출력 첫째 줄에 K원을 만드는데 필요한 동전 개수의 최솟값을 출력한다. import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;..