Sailor Venus - Mina 'Study/AI' 카테고리의 글 목록 — 또디의 실험실
[AI] 'LLM Application 개발 경험 공유회' 리뷰
·
Study/AI
💡 IntroLLM : NLP 분야에서 가장 주목받고 있으며, 트랜스포머 기반(Decoder Only) 모델이 대세Fine Tuning : Pre Trained Model을 용도에 맞게 튜닝하는 것In Context Learning : 별도의 모델 가중치 업데이트를 시키지 않고 명령 프롬프트 내에서 원하는 대답을 얻게 하는 것X-Shot Learning, Chain of Thought, Self-Consistency 💡 LLM Application비결정성이 포함된 LLM의 추론 결과를 바탕으로 동작하며, 질문에 필요한 데이터를 최대한 잘 뽑아서 LLM이 잘 대답할 수 있도록 하는 것이 중요함외부 API 활용(Search API, Web Scraper, Document loading) : Langch..
[AI] 허깅페이스(Hugging Face)
·
Study/AI
💡1. 개념AI와 기계학습 애플리케이션 개발을 위한 플랫폼으로 NLP, 컴퓨터 비전 등 다양한 분야의 최신 AI 모델을 제공함📌 공식 웹사이트: https://huggingface.co📘 Transformers 문서: https://huggingface.co/docs/transformers📘 Datasets 문서: https://huggingface.co/docs/datasets📘 Spaces 문서: https://huggingface.co/docs/hub/spaces Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collaborate on ML better. ..
[AI] 'LLM(거대 언어 모델)과 데이터 분석의 자동화' 리뷰
·
Study/AI
💡비즈니스 인텔리전스(BI, Business Intelligence)기업이 데이터에서 실행 가능한 인사이트를 활용, 분석 및 개발하여 비즈니스 의사 결정을 내릴 수 있도록 하는 일련의 소프트웨어일반적으로 데이터 기반 의사 결정을 지원하기 위해 주요 지표를 그래프 및 차트로 표시발생한 상황을 분석하는 설명/분석 진단의 일종로 사용자 친화적인 대시보드 및 시각화를 통해 정보 제공 💡BI 활용ROI: BI에서 도출된 지능적인 비즈니스 이해는 조직이 비즈니스 분석을 통해 성과와 투자 수익을 최적화하는 데 도움고객 경험: 고객 선호도, 구매 추세 및 행동을 더 잘 이해하여 고객 서비스를 개선하고 타겟 마케팅을 촉진비즈니스 성과 모니터링: 데이터 분석을 통해 회사 성과에 대한 인사이트를 개발하여 운영을 지속적으..
[AI] 'AI시대 데이터 직군을 위한 생존 전략' 리뷰
·
Study/AI
💡회사에 필요한 데이터 사이언티스트비즈니스 사업부서의 데이터 요청을 단순히 수행하는 것이 아닌,자신의 에고가 명확하고 자신의 분석을 바탕으로 길을 제시하는 사람데이터 기반의 비즈니스 제안을 강하게 할 사람수식의 Goal과 비즈니스의 Goal 사이의 미묘한 차이를 이해하고 해석하는 사람 💡Full stack data expert클라우드에 익숙해 데이터를 원천 발생 지점까지 접근할 수 있으며이를 제품화된 data lake를 사용해 적재할 수 있고업무 전반에서 LLM을 극도로 레버리지하며, Agent를 생성하며많은 SQL추출 요청은 자동화, 사람들에게 self-service화 하고다른 사람들의 분석이 틀리지 않는지 가이드할 수 있으며자신의 심도 있는 비즈니스 분석은 ML 등을 이용하며만든 모델을 직접 AP..
[AI] 'LLM 애플리케이션 경험 공유회' 리뷰
·
Study/AI
💡비개발자가 인공지능 관련 업무 효율화를 목적으로 한다면, 어느 수준까지 LLM을 학습해야 할까?학습 목적이 중요하기 때문에 업무 효율화가 목적이라면, 어떤 것을 효율적으로 개선할 것인지 파악 필요엑셀을 통해 데이터 분석을 쉽게 하고 싶은 것인지 등 주제를 먼저 정해야 함이후 ChatGPT를 활용해서 노코드 기술 등으로 접근한 후 파이썬을 배워 직접 개발하는 것이 좋음 💡하드웨어 사양이 부족해 로컬에서 LLM 구동 및 공부가 힘들 때 어떻게 해야 할까?올라마(Ollama)를 사용하는 것을 추천구글 코랩(Colab) pro 구독 시 운 좋으면 A100 사용 가능 💡PDF에서 표를 효과적으로 추출하는 방법?OCR 사용업스테이지 API 추천OpenCV 또는 Cascade Tabnet 추천 💡RAG 개발..
[AI] TensorFlow의 NLP 활용: GPT & Hugging Face 연동
·
Study/AI
TensorFlow에서도 PyTorch처럼 GPT, BERT, T5 같은 최신 NLP 모델을 활용할 수 있고, Hugging Face의 transformers 라이브러리를 TensorFlow에서 사용할 수 있다.#설치 방법pip install transformers tensorflow  (1) TensorFlow에서 GPT 모델 사용하기from transformers import TFGPT2LMHeadModel, GPT2Tokenizer# 모델 및 토크나이저 로드model_name = "gpt2"tokenizer = GPT2Tokenizer.from_pretrained(model_name)model = TFGPT2LMHeadModel.from_pretrained(model_name)# 입력 텍스트 정의i..
[AI] 텐서플로우(TensorFlow)
·
Study/AI
1. 개념TensorFlow는 Google Brain 팀에서 개발한 오픈소스 머신러닝 및 딥러닝 프레임워크입니다.대규모 모델 훈련과 배포에 최적화되어 있어 기업과 산업에서 많이 사용됩니다.TensorFlow 2.x에서는 Keras와 통합되면서 코드가 직관적으로 개선되었습니다.모바일, 웹, 클라우드, TPU 지원 등 다양한 환경에서 활용할 수 있습니다. 2. 특징(1) 정적 & 동적 연산 그래프 지원TensorFlow 1.x는 정적 그래프(Static Graph)를 사용하여 실행 속도가 빠르지만 코드가 복잡했습니다.TensorFlow 2.x에서는 PyTorch처럼 동적 그래프(Eager Execution)를 기본 지원하여 사용성이 개선되었습니다.필요에 따라 정적 그래프(tf.function)도 사용할 수 ..
[AI] PyTorch의 NLP 활용: GPT와 Hugging Face 연동
·
Study/AI
PyTorch는 자연어 처리(NLP)에서 GPT, BERT, T5 같은 최신 딥러닝 모델을 구현하는 데 많이 사용된다. 특히 Hugging Face Transformers 라이브러리는 PyTorch 기반으로 설계되어 있으며, 사전 학습된 언어 모델을 쉽게 활용할 수 있도록 돕는다.1. GPT 모델이란?GPT(Generative Pre-trained Transformer)는 OpenAI가 개발한 Transformer 기반의 언어 모델사전 학습(Pre-training)된 후, 특정 NLP 작업(텍스트 생성, 번역, 요약 등)에 맞춰 파인튜닝(Fine-tuning)이 가능GPT-3, GPT-4 같은 대형 모델은 Hugging Face를 통해 쉽게 활용할 수 있음 2. 허깅페이스 트랜스포머(Hugging Fac..
[AI] 파이토치(PyTorch)
·
Study/AI
https://www.youtube.com/watch?v=ORMx45xqWkA 1. 개념PyTorch는 Facebook (현 Meta)에서 개발한 오픈소스 딥러닝 프레임워크. 주로 딥러닝 연구와 프로토타이핑에 많이 사용되며, 직관적인 코드 스타일과 동적 연산 그래프(Eager Execution) 덕분에 사용이 쉬움. TensorFlow보다 학습 곡선이 완만하고, 파이썬스러운 문법을 지원해 많은 연구자와 개발자들이 선호함. *파이써닉하다! 2. 특징(1) 동적 연산 그래프 (Dynamic Computation Graph)텐서플로우(TensorFlow 1.x)의 정적 그래프 방식과 달리, PyTorch는 동적 그래프를 사용코드 실행 시마다 그래프가 생성되므로, 디버깅과 모델 수정이 편리torch.autogr..
[AI] OWASP TOP 10 LLM 애플리케이션 취약점
·
Study/AI
프롬프트 인젝션(Prompt Injection)공격자가 신중하게 작성한 입력을 통해 LLM의 동작을 조작하거나 필터를 우회하여, 모델이 이전 지시를 무시하거나 의도하지 않은 동작을 수행하게 만드는 취약점입니다. 민감한 정보 노출(Sensitive Information Disclosure)LLM이 학습 데이터나 상호작용 중에 민감한 정보를 의도치 않게 노출하여 데이터 유출이나 개인정보 침해로 이어질 수 있는 취약점입니다. 훈련 데이터 오염(Training Data Poisoning)악의적인 데이터가 모델의 학습 과정에 포함되어 모델의 출력이나 동작을 왜곡시키는 취약점입니다. 공급망 취약점(Supply Chain Vulnerabilities)모델 개발 및 배포 과정에서 사용되는 외부 라이브러리나 도구의 취약..