opencode에 llama3.1:8b 연동해 보기

 

 

안녕하세요.

 

 이전 글에서는 llama3:8b로 연동이 되지 않았습니다. 조금 아쉬움이 있어서, 자료를 찾아보았는데, llama3.1:8b은 가능할 거라고 해서 확인해 보았습니다.

 

 결론 먼저 이야기하자면, 연동되는 것을 확인했습니다.

그래서 간단하게 사용하는 방법을 남겨보았습니다.

 

 이전 글에서 작업한 것과 동일하게 WSL로 Ubuntu를 실행한 후 아래 작업을 진행하면 됩니다.

https://remnant24c1.tistory.com/686

Windows(WSL)에서 OpenCode CLI 설치해 보기

 

---

 

1. llama3.1:8b 다운로드하기

 

 각자 컴퓨터 사양에 맞게 파라미터를 선택해서 다운로드합니다. 현재 컴퓨터 환경에 돌아갈 수 있는 사양으로 선택했습니다.

 

 Ollama에게 "지정한 AI 모델을 실행해 줘"라고 명령을 내립니다. 만약 내 컴퓨터에 해당 모델이 아직 다운로드되지 않았다면, 자동으로 인터넷에서 다운로드(Pull)한 뒤에 실행까지 한 번에 진행합니다.

 

$ ollama run llama3.1:8b

 

 

llama3.1이 실행되면, GPT처럼 입력창에 질문을 하면 답변을 합니다. llama3.1 마지막 업데이트한 날짜가 2022년 9월로 말해주고 있습니다.

 

 

 

2. opencode와 연동하기

  

opencde를 실행을 아래와 같이 합니다. 이렇게 하면 로컬/클라우드 LLM을 선택해서 “코딩용 AI 에이전트 환경”을 띄우겠다는 의미로 해석할 수 있습니다.

 

$ ollama launch opencode

 

 

다운로드한 llama 3.1가 항목에 나타납니다. 이것을 선택해서 default로 실행합니다.

 

 

  

Enter를 눌러 실행하면 llama3.1:8b가 선택된 것을 확인할 수 있습니다.

 

 

 

 간단하게 "너의 이름이 뭐야?" 물어보면 답하는 것을 확인할 수 있습니다.

처음에 한국어를 잘 처리를 못하긴 했습니다. 대답할 때도 있었습니다.

 

 

 

 세션이 꼬였는지 영어로 물어도 이상한 대답을 해서 /exit로 종료하고 llama3.1을 다시 실행해 보았습니다. llama3.1 자체는 정상작동 했습니다.

 

 opencode로 다시 실행해서 코드 관련 내용을 물어보면 정상 답해주는 것을 확인할 수 있었습니다.

opencode 상에서 일상적인 대화를 물어보면 대답시간도 느리고, 일상적인 질문에 답변이 이상할 수 있습니다. 그렇기 때문에 일상적인 대화는 ollama로 모델을 실행해서 물어보면 것을 추천드립니다.

 opencode에서는 코드에 관련된 내용으로 질문하는 것을 추천드립니다.

 

 qwen3.5에서는 질문한 것을 분석한 내용을 보여주고, 답변을 해준다면, llama는 조금 빠른 대답을 하는 대신 생각하는 부분을 출력하지 않고 답을 합니다.

 그리고 영어로 물어볼 때와 한국어로 물어볼 때, 데이터셋 차이가 있다 보니, 답변 차이를 느낄 수 있을 것입니다.

 

 마지막으로, /exit로 종료하고 나오면 방금 전 대화를 이어서 할 수 있도록 세션정보를 알려줍니다.

이어서 대화를 하려면 opencode -s로 실행하면 됩니다.

 

 

 

 

감사합니다.