Search

올라마(Ollama)를 Chat GPT 처럼 쓰기

올라마 Web-ui
무료로 사용이 가능한 오픈소스 AI LLM
자유로운 커스텀이 가능
Web-UI로 이용하면 Chat GPT와 거의 동일한 UI로 이용 가능

올라마(Ollama)를 Chat GPT처럼 UI를 사용해보기

올라마(Ollama)란?

로컬 오픈소스 AI LLM 올라마

귀여움은 덤으로 추가된 올라마 오픈소스 AI LLM
이제는 모두에게 당연한듯 쓰이는 AI LLM. 대부분의 AI의 경우 웹 연결을 베이스로 한다. 웹상에서 동작하기에 인터넷 연결이 끊기면 더이상 사용할 수 없다. 또한 정보들이 로컬이 아닌 웹상에 저장되기 때문에 개인정보가 유출되지 않을까 불안할 수 밖에 없다.
올라마(Ollama)는 로컬 환경에서 돌아가는 AI다. 웹 연결이 없어도 사용할 수 있는 오픈소스 AI다. 자신이 사용하는 PC 성능에 맞춰 유동적으로 성능을 끌어올릴 수 있으며, 개인정보 보호에 있어서도 최고라고 할 수 있다. 또한 기존 상업용 AI들에게서 불가능한 자유로운 커스텀도 가능하다.

무료 그리고 자유로운 커스텀

올라마(Ollama)의 최대 강점은 무료라는 점이다. 오픈소스다 보니 무료로 모든 기능을 사용할 수 있다. 기본적으로 AI 툴들이 월에 15~20달러를 청구하는 것을 생각하면 큰 장점이다. 커스텀의 경우 모델 자체를 다운 받아 사용하기에 무척 자유롭다. 기존 모델을 편집하거나 아니면 아예 나만의 새로운 모델을 만들 수 있다. 물론 이를 위해서는 AI에 대한 지식이 필요하고 많은 컴퓨팅 자원을 잡아먹기에 일반인이 할 수준은 아니다.

Web-UI의 설치와 구동

올라마의 최대 단점은 접근성

사용할때마다 이런 화면을 만난다면 무서울 것이다.
올라마의 최대 단점은 접근성이다. AI를 써본 사람은 알겠지만 대부분 가입하고 로그인하면 사용이 바로 가능하다. 이후는 채팅을 하듯이 필요한 것을 물어보면 그만이다. 이런 쉬운 사용이 AI 대중화를 이끌었다 생각한다. 반면 올라마의 경우 초반에 세팅 작업이 필요하고, 이후에도 cmd와 같은 환경에서 이용해야한다. 컴퓨터로 다양한 작업을 하지 않는다면 평생 볼일 없는 화면을 마주하게 될 것이다.
올라마가 유용한 도구임은 맞지만 이 접근성 때문에 모두가 사용하기는 힘들었다. 그도 그럴게 사용할 때마다 문자열로 모델을 불러오고 켜고 끄고 하는 것이 귀찮고 어렵기 때문이다. 그래도 현재는 npm 설치 외에도 일반적인 인스톨 설치가 가능해서 설치 자체는 쉬워졌지만, 사용방식은 여전하기 때문에 누군가에게 추천하기 어렵다.

접근성을 올려주는 Web-UI 프로젝트

chat GPT와 같이 웹 상에서 구동하며 채팅하듯이 구동한다.
올라마 Web-UI 프로젝트는 올라마를 GPT처럼 친숙한 UI/UX로 만들어주는 프로젝트다. 이 역시 오픈소스 프로젝트로 모든 기능을 무료로 사용가능하다. 실제 설치해보면 알겠지만 꽤나 잘만들어져있어서 회사용으로 사용해도 될정도이다. 기본적으로 Admin 계정 생성, 게스트 초대, AI 모델 변경, AI 프롬포트 학습 등을 지원한다. 추가적으로 지식베이스를 삽입해줄 수도 있다.

Web-UI 최초 설치하기

올라마 Web-UI를 사용하기 위해서는 다음 과정을 따라하면 된다.
Web-ui 설치
1.
Docker를 설치한다. (https://www.docker.com/)
a.
올라마는 기본적으로 로컬 작동이기에 자체 서버로 구동하기 위함이다.
2.
설치된 Docker를 실행해서 recommend setting을 선택하고 로그인을 하면 된다.
3.
Docker가 세팅되었는지 터미널을 통해 확인한다.
a.
docker --version 을 입력하여 version이 뜨는지 본다
4.
Docker가 세팅되었으면 터미널에 다음과 같이 입력한다.
a.
docker run -d --name ollama-server --restart unless-stopped -p 11434:11434 ollama/ollama
b.
이를 통해 올라마 컨테이너를 실행할 수 있다.
5.
해당 과정이 완료되었으면 이제 web-ui 컨테이너를 실행하면 된다.
a.
터미널 상에 다음 내용을 입력한다.
b.
docker run -d --name ollama-webui --restart unless-stopped -p 3000:3000 -e OLLAMA_API_BASE_URL=http://ollama-server:11434 ghcr.io/open-webui/open-webui:main
6.
실행을 확인하려면 브라우저에 다음을 입력해서 접속해본다.
 | Main Page | Category |  Tags |