[AI] 'LLM 애플리케이션 경험 공유회' 리뷰

💡비개발자가 인공지능 관련 업무 효율화를 목적으로 한다면, 어느 수준까지 LLM을 학습해야 할까?

• 학습 목적이 중요하기 때문에 업무 효율화가 목적이라면, 어떤 것을 효율적으로 개선할 것인지 파악 필요
• 엑셀을 통해 데이터 분석을 쉽게 하고 싶은 것인지 등 주제를 먼저 정해야 함
• 이후 ChatGPT를 활용해서 노코드 기술 등으로 접근한 후 파이썬을 배워 직접 개발하는 것이 좋음

 

💡하드웨어 사양이 부족해 로컬에서 LLM 구동 및 공부가 힘들 때 어떻게 해야 할까?

• 올라마(Ollama)를 사용하는 것을 추천
• 구글 코랩(Colab) pro 구독 시 운 좋으면 A100 사용 가능

 

💡PDF에서 표를 효과적으로 추출하는 방법?

• OCR 사용
• 업스테이지 API 추천
• OpenCV 또는 Cascade Tabnet 추천

 

💡RAG 개발 시 검색하는 문서가 Q/A로 묶인 한 쌍의 리스트일 때 어떻게 분리하면 좋을까?

• 가장 일반적인 것은 Question과 Answer를 한 쌍으로 묶어 하나의 청크(Chunk)로 만드는 방법
• 또는 Question만 임베딩한 후 질문에 해당하는 Answer를 따로 셀렉하여 LLM에 던지기
• 데이터마다 다르기 때문에 직접 해보고 최적의 결과를 선정하는 것이 좋음

 

💡사내 인트라넷에 상주하는 챗봇을 만든다면 어떻게 구축해야 할까?

• 직접 모델을 개발하는 것이 아니라면 허깅페이스에 공개된 것을 사용해야 함
• VRAM GPU 같은 경우에는 A100 한 장이면 충분할 것 같음

 

💡OpenAI 활용 시 비용 절약 방법?

• 토큰 수를 줄이는 것이 핵심
• 리트리버를 할 때 청크 사이즈 줄이는 것을 노력해야