modeling 없이 chatGPT를 만드는 방법

한빛출판사 프리뷰어스 사이트에 기고한 내용입니다.

https://www.notion.so/modeling-chatGPT-04fc8db66274499abcc2687f9891d89e

chatGPT의 지식에 해당하는 부분은 말그대로 FACT, 사실이 기재되어있어야 한다. 정확하지 않은 정보가 아닌 경우, 사용자에게 신뢰도는 매우 하락할 수 있다. 또한 chatGPT에 사용할 LLM모델을 직접 만드는 경우, 대량의 문서를 학습시켜 만들지만, 일반적으로 규모가 작은 개발회사에서 적은 비용으로 LLM modeling을 바로 할 수가 없다. GPU보드 주문부터, 또는 Cloud서비스를 통해 instance를 갖추고 그 안에 LLM Modeling할 인프라부터 설계해야 된다.

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png

chatGPT를 위한 LLM생성 기본적인 단계는 다음과 같다.

1. Infra구축 → 2) 문서를 기반으로 LLM Model 생성 → 3) 서비스화

하지만, 기업들이 직접 chatGPT 서비스를 만들고자 할때, 이미 완성된 Model을 기반으로, 기본적인 Chatting의 문구생성 및 파인튜닝 방식을 갖춘 모델을 제공한다. 기업 입장에서는 올바르게 답변할 지식, Fact만 갖추면 된다.

단계 1) 인프라 구축을 클라우드 서비스인 AWS이나 MS Azure에서 진행한 뒤, 2)부터 직접 할 수도 있지만 이미 생성된 모델에서 지식 베이스(Knowledge base)에 지식(Knolwedge injection)주입을 어떻게 할 수 있을지 알아보자.

1. MS Azure Bot Service 와 연동되는 QnA Maker(https://www.qnamaker.ai/) 서비스에 가입을 한다.

(QnA Maker 라는 프로그램은 2025년에 MS Azure의 Azure AI Language 서비스로 통합 및 이전될 예정이다.)

QnA maker 서비스에서 create a Knowledge base 메뉴를 상단에서 클릭하여 들어간다.

1. 기본적으로 사용중인 Directory나 서비스 infra가 없다면 새로 만들어야 하며, 아래 그림과 같이 Step 1 에서 ‘Create a QnA Service’로 생성한 뒤 아래 Step 2에서 생성한 Directory를 선택한다.
2. Knoweldge base 구축은 내가 가진 문서 파일을 업로드 하여 할 수도 있고, URL링크를 기준으로 Web문서를 기반으로 구축할 수 있으며 Step3에서 이런 방식을 선택하여 진행할 수있다.

1. 위의 과정으로 Knoweldge base를 생성하였으면, 질문으로 나올 수 있는 예제들을 QnA Maker를 통해 만든다.

다시 QnA Maker portal로 돌아가서 아래와 같이 질의를 입력해 본다.

나중에 실제 질의를 아래 질문과 똑같이 입력하지 않아도, MS Cognitive NLP 자체 엔진이 유사한 질문을 이해한 뒤 매칭해주니, 일종의 예시를 입력한다고 보면 된다.

published 된 KB를 대상으로 위와 같이 질문 또는 질의를 입력하면, 답변이 생성되어 나오는 것을 볼 수 있다.

이제, 답변이 제대로 나오는 거 같으니, Test 단계에서 Production 단계로 넘어가 본다.

Production 단계로 넘어가는 방법은 서버를 새로 만들거나 인스턴스를 새로 구성하는 것이 아닌 rest API로 사용할 수 있는 URI를 만드는 과정이다.

만들어진 Knowledge base를 바탕으로 Chatbot을 생성한다.

그리고, chatGPT와 같이 UI를 갖춘 서비스를 확인할 수 있다.

!https://learn.microsoft.com/en-us/azure/ai-services/qnamaker/media/qnamaker-create-publish-knowledge-base/test-web-chat.png