LG 헬로비전 DX DATA SCHOOL43 SQL 코테 문제설명데이터 베이스안에서 NAME, ANIMAL_ID 등 여러 컬럼 중 이름에 EL이 들어가는 개의 ANIMAL_ID와 NAME을 이름 순으로 조회하는 코드 SELECT ANIMAL_ID, NAME FROM 테이블이름WHERE ANIMAL_TYPE = 'Dog' AND NAME LIKE "%EL%"ORDER BY NAME 여기서 LIKE를 통해 EL을 기준으로 앞뒤의 어떤 문자로든 구성되어 있는 NAME을 찾는 로직으로 구현,여기서 LIKE를 다시 알게 되었음! IFNULL : IFNULL(colunm_name, 'default_value') 첫번째 인자 값이 NULL인 경우 두번째 인자 값을 반환 ISNULL : WHERE A.column ISNULL 하면 NULL을 가진.. 2024. 4. 5. 자연어 처리(Natural Language Processing) 1. 자연어 처리 1.1) 종류 규칙 기반 처리 : 미리 정해놓은 규칙을 가지고 if, else를 수행해서 모델링 확률 기반 처리 자연어 이해 : 입력에 적합한 답변이나 0 또는 1을 출력 자연어 생성 : 이전 문장의 맥락을 파악해서 다음 단어나 문장을 생성 1.2) 실제 가장 많이 사용되는 모델 BERT(Bidirectional Encoder Representations from Transformer) - 자연어 이해(분류, 군집 등)에 주로 사용되는데 입력 문장의 좌우 문맥을 모두 고려해서 단어의 임베딩 벡터를 생성 Fine Tuning(미세 조정) 단계에서 해당 과제의 데이터로 추가 학습하여 성능을 개선 GPT(Generative Pre-trained Transformer) - 단방향 언어 모델로 .. 2023. 9. 22. Tensorflow를 이용한 회귀 와 분류 2023-09-15 1.Keras의 Dense =>Dense: 완전 연결 층을 만들기 위한 클래스 =>생성할 때 파라미터 unit: 뉴런의 개수 - 많을 수록 학습을 잘함 activation: 활성화 함수 - sigmoid, softmax, tanh, relu 등 input_shape: 입력 데이터의 차원을 설정 2.선형 회귀 구현 =>하나 이상의 독립 변수들이 종속 변수에 미치는 영향을 추정하는 통계 기법 1)Keras의 모델 생성 방법 =>Sequential API: 순서대로 층을 쌓는 구조 =>Functional API: 함수에 대입하는 것 =>SubClassing: 기반 클래스로부터 상속을 받아서 사용 Inheritance -> Is A(기능 구형, 구체화, 구현) -> SubClassing(기능.. 2023. 9. 15. TensorFlow **TensorFlow 1.개요 =>구글이 만든 딥 러닝에 초점을 맞춘 라이브러리 =>2015년 11월 오픈 소스로 전환했고 현재 가장 인기있는 딥 러닝 라이브러리 =>GPU를 지원하고 분산 컴퓨팅도 지원 =>일정의 JIT(Just-In-Time) 컴파일러를 사용해서 속도를 높이고 메모리 사용량을 줄여서 수행 사용하지 않는 노드를 가지치기를 해서 사용량을 최적화 =>Tensorflow를 이용해서 훈련 한 모델을 다른 환경에서 실행 할 수 있음 웹 브라우저 나 안드로이드에서 PC에서 훈련한 모델을 가져와서 사용이 가능 Tensorflow Lite 버전을 이용하면 안드로이드 기기 내에서도 훈련이 가능하지만 안드로이드 기기는 일반적으로 컴퓨팅 파워가 부족하기 때문에 대부분 훈련은 PC에서 수행하고 그 모델을 .. 2023. 9. 15. Association_Analysis (연관 분석) 2023/0907 ** 연관 분석 1. word2vec 1.1) CBOW(Continuous Bag of Words) 여러 개의 단어를 나열한 뒤 이와 관련된 단어를 추정하는 문제 문자에서 나오는 n개의 단어 열로부터 다음 단어를 예측하는 것 the quick brown fox jumped over the lazy dog 이라는 문장을 훈련 the quick brown을 제시하면 fox를 추천하는 형태 1.2) Skip-Gram 특정한 단어로부터 문맥을 구성할 수 있는 단어를 예측하는 방식으로 window size라는 매개변수를 이용해서 단어를 예측 위의 문장에서 window size를 1로 설정 quick를 배치하면 the 와 brown을 가져옵니다. window size를 2로 늘리면 brown fo.. 2023. 9. 7. NLP(Natural Language Processing) 자연어 처리 1. 자연어 처리 1.1) NLP 1.2) 텍스트 분석의 기술 영역 텍스트 분류 : 텍스트를 보고 어떤 카테고리에 속하는지 분류 감성 분석 텍스트 요약 : 대표적인 기법이 토픽 모델링 텍스트 군집화와 유사도 측정 텍스트 전처리 ML 모델 수립 및 학습/예측/평가 : 초창기에는 일반 머신러닝 모델을 가지고 많이 작업을 했는데 최근에는 딥러닝의 RNN, Transformer 같은 생성 모델이나 미리 학습된 모델 등을 많이 이용 1.3) 자연어 처리를 위한 패키지 NLTK : 가장 많이 사용되던 자연어 처리 패키지 이나, 수행 속도가 느려 요즘같은 대량의 텍스트 기반 자연어 처리에는 부적합 Gensim : 토픽 모델링에서 많이 사용되는 패키지, Word2Vec 같은 알고리즘이 구현되어 있음. SpaCy Kon.. 2023. 9. 5. 이전 1 2 3 4 ··· 8 다음
