서론

안녕하세요 여러분! 오늘은 오라마가 선보인 새로운 멋진 기능에 대해 알아보겠습니다. 그것은 우리가 허깅 페이스 허브에서 GGUF 모델에 접근할 수 있게 해주는 기능입니다. 무려 45,000여 개의 다양한 모델을 다운로드할 수 있게 되었습니다. 이러한 모델은 사람들이 업로드한 양자화 버전이며, 공통적으로 오라마 모델 사이트에서 찾을 수 있는 기본 모델보다 더 흥미로운 경우가 많습니다.

GGUF 모델에 접근하는 방법

이 모델에 접근하는 것은 매우 간단합니다. 다음과 같은 명령을 사용하여 모델 중 하나를 실행하세요:

$ ollama run hf.co/모델 이름

기본적으로 4비트 양자화 버전 중 하나가 다운로드되고 설치됩니다. 하지만 대부분의 GGUF 리포지토리에는 여러 가지 양자화 버전이 있습니다. 따라서 다음과 같이 명령 끝에 양자화를 추가할 수 있습니다.

$ :양자화

또는 허깅 페이스 허브에서 해당 모델을 사용하여 오라마를 선택한 다음 원하는 모델을 선택할 수 있습니다.

양자화 선택하기

모델에 따라 양자화의 품질이 어떻게 달라지는지가 다릅니다. 과거에는 더 낮은 정밀도가 추론, 함수 호출, 추론에 관련된 모든 것과 같은 특정 유형의 작업을 수행할 수 없음을 의미하는 것으로 여겨졌습니다. 하지만 오늘날에는 모델마다 다르게 반응할 수 있다는 것입니다.

빠르고 채팅에 적합한 모델을 원하고 더 높은 수준의 기능은 중요하지 않은 경우 Q2 모델로 충분합니다. 그러나 Q8 모델로 가면 품질은 약간 좋아질 수 있지만 모델 속도는 느려집니다.

모델 파일 만들기 및 사용자 지정하기

다음과 같이 자체 모델 파일을 만드는 것도 가능합니다.

from hf.co import 모델 이름

이 모델 파일에 하드 코딩된 시스템 프롬프트를 입력할 수도 있습니다. 채팅 템플릿을 변경할 수도 있습니다. 일부 GGUF에는 채팅 템플릿이 제대로 설정되어 있지 않은 경우가 있습니다. 이런 경우 직접 설정해야 합니다. 하지만 대부분의 파일은 기본 설정에서 문제 없이 작동합니다.

Ollama에서 GGUF 모델 사용하기

오라마에서 GGUF 버전을 검색하고 다운로드할 수 있습니다. 블로크의 오래된 모델부터 미스트랄 모델, 제마 모델, 심지어 웬 2.5 모델까지 다양한 모델을 다룰 수 있습니다. 이러한 모델에는 GGUF 버전이 있으며, 다른 사람이 스스로의 모델을 GGUF로 변환한 경우도 있습니다.

결론

오라마에 추가된 이 새로운 기능은 엄청난 이점을 제공합니다. 매우 많은 다른 모델에 빠르고 쉽게 접근할 수 있습니다. 이전에는 이러한 모델을 직접 다운로드하고 모든 설정을 수동으로 해야 했습니다. 이제는 기본적으로 설정이 완료되어 간단하고 빠르게 작업할 수 있습니다.

궁금한 점이 있으면 아래 댓글로 남겨주세요. 이 영상이 마음에 들고 비슷한 영상을 더 보고 싶으시면 좋아요를 누르고 구독해 주세요. 업로드되는 영상을 놓치지 마세요. 다음 영상에서 만나요. 안녕히 계세요!