Open WebUI | 소호용 AI -RAG 제작

소규모 산업체(사무실) & 연구실에서 응용력이 뛰어난 소호용 AI제작 방법을 공유합니다 :)

🛠️ Open WebUI 기반 소호용 AI 구축 로드맵

전체적인 흐름은 [컴퓨터 준비 → 두뇌(엔진) 설치 → 얼굴(화면) 설치 → 지식(데이터) 주입 → 활용] 순서로 진행됩니다.

1단계: 하드웨어 및 환경 준비

AI를 돌리기 위해서는 일반적인 사무용 PC보다는 조금 더 좋은 사양의 컴퓨터가 필요합니다.

• 컴퓨터 사양: 그래픽 카드(NVIDIA RTX 시리즈 권장)가 있는 PC가 가장 좋지만, 최근에는 일반 노트북이나 Mac에서도 구동 가능합니다.
• 운영체제: Windows, macOS, Linux 어디서든 가능하지만, 초보자에게는 Windows(Docker 이용) 환경이 가장 접근하기 좋습니다.

2단계: AI의 엔진 설치 (Ollama)

Open WebUI는 일종의 '화면'일 뿐입니다. 실제로 질문에 답변을 하는 '두뇌' 역할의 엔진이 필요한데, 보통 Ollama라는 프로그램을 사용합니다.

• 역할: Llama 3나 Gemma 같은 최신 AI 모델을 내 컴퓨터에서 실제로 돌아가게 만드는 엔진입니다.
• 특징: 설치 클릭 한 번으로 AI 모델을 다운로드하고 실행할 수 있게 해줍니다.

3단계: AI의 인터페이스 설치 (Open WebUI)

이제 우리가 직접 채팅을 주고받을 예쁜 화면을 만들 차례입니다.

• 역할: 챗GPT와 거의 흡사한 디자인의 채팅창을 제공합니다.
• 설치 방식: 보통 **Docker(도커)**라는 가상화 프로그램을 사용해 설치합니다. 클릭 몇 번과 간단한 코드 복사만으로 "내 컴퓨터 주소"를 통해 접속할 수 있는 웹사이트가 만들어집니다.

4단계: RAG 시스템 구축 (나만의 지식 넣기)

이 과정이 소호용 AI의 핵심입니다. AI에게 우리 회사의 매뉴얼, 상품 정보, 계약서 등을 가르치는 단계입니다.

• RAG(검색 증강 생성)란? AI가 모르는 정보(우리 회사 내부 문서)를 PDF나 엑셀 파일로 업로드하면, 질문이 들어왔을 때 해당 문서를 먼저 읽고 답변하게 만드는 기술입니다.
• 방법: Open WebUI 내의 'Documents' 메뉴에 파일을 마우스로 끌어다 놓기만 하면 끝입니다.

5단계: 실전 활용 및 공유

구축이 완료되면 이제 업무에 적용합니다.

• 맞춤형 봇 생성: '고객 응대 봇', '계약서 검토 전문 봇' 등 목적에 맞는 페르소나를 설정할 수 있습니다.
• 외부 접속 설정: (선택 사항) 사무실 밖에서도 접속할 수 있게 보안 설정을 하고 팀원들과 함께 사용할 수 있습니다.

사용된 기술스택

ai

Selfhosted

ollama

openwebui

dev

applications

docker

termius