tutorial-chatbot-rag-langchain.ipynb

{"metadata":{"kernelspec":{"language":"python","display_name":"Python 3","name":"python3"},"language_info":{"name":"python","version":"3.10.14","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"},"kaggle":{"accelerator":"none","dataSources":[],"dockerImageVersionId":30786,"isInternetEnabled":true,"language":"python","sourceType":"notebook","isGpuEnabled":false}},"nbformat_minor":4,"nbformat":4,"cells":[{"source":"<a href=\"https://www.kaggle.com/code/kaiyoo88/tutorial-rag-llm?scriptVersionId=221244141\" target=\"_blank\"><img align=\"left\" alt=\"Kaggle\" title=\"Open in Kaggle\" src=\"https://kaggle.com/static/images/open-in-kaggle.svg\"></a>","metadata":{},"cell_type":"markdown"},{"cell_type":"code","source":"pip install -q langchain langchain-community langchain_huggingface chromadb","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:05:23.161724Z","iopub.execute_input":"2025-01-23T06:05:23.162001Z","iopub.status.idle":"2025-01-23T06:06:03.789285Z","shell.execute_reply.started":"2025-01-23T06:05:23.161972Z","shell.execute_reply":"2025-01-23T06:06:03.788044Z"}},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"## 1. Use langchain RAG","metadata":{}},{"cell_type":"code","source":"import os\nfrom langchain_text_splitters import RecursiveCharacterTextSplitter\nfrom langchain_community.vectorstores import Chroma\nfrom langchain.chains import RetrievalQA\nfrom langchain.prompts import PromptTemplate","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:09:08.726775Z","iopub.execute_input":"2025-01-23T06:09:08.727692Z","iopub.status.idle":"2025-01-23T06:09:10.209797Z","shell.execute_reply.started":"2025-01-23T06:09:08.727643Z","shell.execute_reply":"2025-01-23T06:09:10.208708Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"os.environ[\"HUGGINGFACEHUB_API_TOKEN\"] = \"Your-API-Key\"","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:24:02.384814Z","iopub.execute_input":"2025-01-23T06:24:02.385267Z","iopub.status.idle":"2025-01-23T06:24:02.390293Z","shell.execute_reply.started":"2025-01-23T06:24:02.385229Z","shell.execute_reply":"2025-01-23T06:24:02.389189Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# os.environ.get(\"HUGGINGFACEHUB_API_TOKEN\")","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:32:24.841782Z","iopub.execute_input":"2024-11-06T03:32:24.842623Z","iopub.status.idle":"2024-11-06T03:32:24.855683Z","shell.execute_reply.started":"2024-11-06T03:32:24.84255Z","shell.execute_reply":"2024-11-06T03:32:24.85326Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"from langchain.embeddings import HuggingFaceEmbeddings\nfrom langchain.llms import HuggingFaceHub\n\n# set Korean embedding and llm odel\nhf_embeddings = HuggingFaceEmbeddings(model_name=\"jhgan/ko-sroberta-multitask\")\n\nhf_llm = HuggingFaceHub(\n    repo_id=\"skt/kogpt2-base-v2\",\n    model_kwargs={\"task\": \"text-generation\"} ## question-answering tasK X. text-generation\n)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:24:38.396597Z","iopub.execute_input":"2025-01-23T06:24:38.397015Z","iopub.status.idle":"2025-01-23T06:24:41.435827Z","shell.execute_reply.started":"2025-01-23T06:24:38.396976Z","shell.execute_reply":"2025-01-23T06:24:41.434474Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"import requests\nfrom langchain.schema import Document\nfrom bs4 import BeautifulSoup\n\n# for Wikipedia documents (EN, KO)\n\n# from langchain_community.document_loaders import WikipediaLoader\n\n# By default, English documents (https://en.wikipedia.org))\n# def load_Wiki_docs(query):\n#     loader = WikipediaLoader(query=query, load_max_docs=1) # need !pip install wikipedia\n#     documents = loader.load()\n    \n#     text_splitter = RecursiveCharacterTextSplitter(\n#         chunk_size=1000,\n#         chunk_overlap=200\n#     )\n#     splits = text_splitter.split_documents(documents)\n    \n#     return splits\n\n\n# For Korean query, get results from Korean wikipedia website and crawl and parse results\ndef load_Korean_wiki_docs(topic):\n    url = f\"https://ko.wikipedia.org/wiki/{topic}\"\n    \n    response = requests.get(url)\n    response.raise_for_status()  # raise Exception when error occurs\n\n    # HTML parsing and extract body contents\n    soup = BeautifulSoup(response.text, 'html.parser')\n    content = soup.find('div', {'class': 'mw-parser-output'})  # find div including body contents \n    \n    # Extract contents\n    paragraphs = content.find_all('p')\n    text = \"\\n\".join([p.get_text() for p in paragraphs])  # concat all context in <p> tags \n \n    # convert to Document object (required for LangChain)\n    documents = [Document(page_content=text, metadata={\"source\": url})]\n    \n    text_splitter = RecursiveCharacterTextSplitter(\n        chunk_size=1000,\n        chunk_overlap=200\n    )\n    splits = text_splitter.split_documents(documents)\n    \n    return splits","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:25:16.919474Z","iopub.execute_input":"2025-01-23T06:25:16.920218Z","iopub.status.idle":"2025-01-23T06:25:17.089836Z","shell.execute_reply.started":"2025-01-23T06:25:16.920181Z","shell.execute_reply":"2025-01-23T06:25:17.088909Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"def create_vectorstore(splits): \n    vectorstore = Chroma.from_documents(documents=splits, embedding=hf_embeddings)\n    return vectorstore","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:26:27.364097Z","iopub.execute_input":"2025-01-23T06:26:27.365635Z","iopub.status.idle":"2025-01-23T06:26:27.370187Z","shell.execute_reply.started":"2025-01-23T06:26:27.365592Z","shell.execute_reply":"2025-01-23T06:26:27.369201Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"topic = \"흑백요리사\"\n# Load wikipedia documents for this topic\nsplits = load_Korean_wiki_docs(topic) \n# Create vectorstore with this fetched docs\nvectorstore = create_vectorstore(splits)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:28:01.242448Z","iopub.execute_input":"2025-01-23T06:28:01.242849Z","iopub.status.idle":"2025-01-23T06:28:03.092307Z","shell.execute_reply.started":"2025-01-23T06:28:01.242813Z","shell.execute_reply":"2025-01-23T06:28:03.091415Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"def create_rag_chain(vectorstore):\n    prompt_template = \"\"\"문맥을 참고하여 질문에 정확하고 간결하게 답하십시오.\n    문맥: {context}\n    질문: {question}\n    답변:\"\"\"\n    \n    PROMPT = PromptTemplate(\n        template=prompt_template, input_variables=[\"context\", \"question\"]\n    )\n\n    chain_type_kwargs = {\"prompt\": PROMPT}\n\n    # Make context shorter\n    # def short_context(context, max_length=300):\n    #     return context[:max_length] if len(context) > max_length else context\n    \n    # class ShortContextRetriever(BaseRetriever):\n    #     def __init__(self, retriever):\n    #         super().__init__()\n    #         self._retriever = retriever\n        \n    #     def get_relevant_documents(self, query):\n    #         docs = self._retriever.get_relevant_documents(query)\n    #         for doc in docs:\n    #             doc.page_content = short_context(doc.page_content)\n    #         return docs\n    \n    # retriever = ShortContextRetriever(vectorstore.as_retriever())\n\n    qa_chain = RetrievalQA.from_chain_type(\n        llm=hf_llm,\n        chain_type=\"stuff\",\n        retriever=vectorstore.as_retriever(),\n        chain_type_kwargs=chain_type_kwargs,\n        return_source_documents=True\n    )\n    \n    return qa_chain","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:37:24.422956Z","iopub.execute_input":"2025-01-23T06:37:24.423357Z","iopub.status.idle":"2025-01-23T06:37:24.42968Z","shell.execute_reply.started":"2025-01-23T06:37:24.423322Z","shell.execute_reply":"2025-01-23T06:37:24.428652Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# create langchang RAG chain\nqa_chain = create_rag_chain(vectorstore)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:37:27.333329Z","iopub.execute_input":"2025-01-23T06:37:27.333715Z","iopub.status.idle":"2025-01-23T06:37:27.339273Z","shell.execute_reply.started":"2025-01-23T06:37:27.333679Z","shell.execute_reply":"2025-01-23T06:37:27.338192Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"question = \"심사위원을 누가 맡았어?\"\n\n# result = qa_chain({\"query\": question})\nresult = qa_chain.invoke({\"query\": question})\n\nprint (\"결과:\")\nprint(result[\"result\"])\n\nprint(\"출처:\")\nfor doc in result[\"source_documents\"]:\n    print(doc.page_content)\n    print(\"---\")","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:37:30.869896Z","iopub.execute_input":"2025-01-23T06:37:30.870413Z","iopub.status.idle":"2025-01-23T06:37:31.787279Z","shell.execute_reply.started":"2025-01-23T06:37:30.870377Z","shell.execute_reply":"2025-01-23T06:37:31.786301Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"docs = vectorstore.as_retriever().get_relevant_documents(question)\ndocs","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:15.322779Z","iopub.execute_input":"2024-11-06T03:33:15.323234Z","iopub.status.idle":"2024-11-06T03:33:15.485525Z","shell.execute_reply.started":"2024-11-06T03:33:15.323191Z","shell.execute_reply":"2024-11-06T03:33:15.484176Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"docs = vectorstore.similarity_search(question, k=4)\ndocs","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:15.487481Z","iopub.execute_input":"2024-11-06T03:33:15.488034Z","iopub.status.idle":"2024-11-06T03:33:15.574314Z","shell.execute_reply.started":"2024-11-06T03:33:15.487979Z","shell.execute_reply":"2024-11-06T03:33:15.572843Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# It seems vectorDB loading from embedding model works fine, but seems llm model does not.\n# Some Korean llm model seems to work fine in text-generation task, but for Question-Ansering task, we might need another approach.","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:15.580119Z","iopub.execute_input":"2024-11-06T03:33:15.580617Z","iopub.status.idle":"2024-11-06T03:33:15.586739Z","shell.execute_reply.started":"2024-11-06T03:33:15.580573Z","shell.execute_reply":"2024-11-06T03:33:15.585086Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"","metadata":{"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"## 2. Use QA pipeline with vectorstor similarity search","metadata":{}},{"cell_type":"code","source":"# import torch\nfrom transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline\n\n# Load model and tokenizer\nmodel_name = \"yjgwak/klue-bert-base-finetuned-squard-kor-v1\"\nmodel = AutoModelForQuestionAnswering.from_pretrained(model_name)\ntokenizer = AutoTokenizer.from_pretrained(model_name)\n\n# Set Q_A pipeline\nqa_pipeline = pipeline(\"question-answering\", model=model, tokenizer=tokenizer)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-01-23T06:39:20.146829Z","iopub.execute_input":"2025-01-23T06:39:20.147258Z","iopub.status.idle":"2025-01-23T06:39:38.967162Z","shell.execute_reply.started":"2025-01-23T06:39:20.147221Z","shell.execute_reply":"2025-01-23T06:39:38.96607Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# Example: define question and context \nquestion = \"오늘 날씨 어때?\"\ncontext = \"오늘의 날씨는 맑고 따뜻한 기온이 유지될 것으로 보입니다.\"\n\n# model chain\nresult = qa_pipeline(question=question, context=context)\n\n# Result\nprint(\"질문:\", question)\nprint(\"답변:\", result['answer'])","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:31.423141Z","iopub.execute_input":"2024-11-06T03:33:31.423617Z","iopub.status.idle":"2024-11-06T03:33:31.555002Z","shell.execute_reply.started":"2024-11-06T03:33:31.423565Z","shell.execute_reply":"2024-11-06T03:33:31.553646Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# search context in VectorStore\ndef retrieve_context(question, vectorstore):\n    docs = vectorstore.similarity_search(question, k=4)\n    if docs:\n        return \" \".join([doc.page_content for doc in docs])\n        # return docs[0].page_content  # return first relevant doc\n    else:\n        return None\n\n# Generate answer based on query and searched context similar to RAG chain\ndef answer_question_with_context(question, vectorstore):\n    context = retrieve_context(question, vectorstore)\n    if context:\n        result = qa_pipeline(question=question, context=context)\n        return result['answer'], context  # return answer and used source doc\n    else:\n        return \"관련 문맥을 찾지 못했습니다.\", None","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:31.556691Z","iopub.execute_input":"2024-11-06T03:33:31.557138Z","iopub.status.idle":"2024-11-06T03:33:31.566617Z","shell.execute_reply.started":"2024-11-06T03:33:31.557096Z","shell.execute_reply":"2024-11-06T03:33:31.565007Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"# Example\nquestion = \"심사위원을 누가 맡았어?\"\n\nanswer, used_context = answer_question_with_context(question, vectorstore)\n\nprint(\"질문:\", question)\nprint(\"답변:\", answer)\nprint(\"사용된 문맥:\", used_context)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:31.56847Z","iopub.execute_input":"2024-11-06T03:33:31.568961Z","iopub.status.idle":"2024-11-06T03:33:31.902837Z","shell.execute_reply.started":"2024-11-06T03:33:31.568917Z","shell.execute_reply":"2024-11-06T03:33:31.901412Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"","metadata":{"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"# 3. Use Gemini+RAG","metadata":{}},{"cell_type":"code","source":"# It seems the best and simple and cost-free option when OpenAI api cannot be used.","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2024-11-06T03:33:31.904985Z","iopub.execute_input":"2024-11-06T03:33:31.905918Z","iopub.status.idle":"2024-11-06T03:33:31.912362Z","shell.execute_reply.started":"2024-11-06T03:33:31.905848Z","shell.execute_reply":"2024-11-06T03:33:31.910324Z"}},"outputs":[],"execution_count":null},{"cell_type":"code","source":"pip install -q langchain langchain-community langchain_huggingface faiss-cpu google-generativeai #chromadb","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T05:55:29.200957Z","iopub.execute_input":"2025-02-07T05:55:29.201388Z","iopub.status.idle":"2025-02-07T05:55:42.505615Z","shell.execute_reply.started":"2025-02-07T05:55:29.20135Z","shell.execute_reply":"2025-02-07T05:55:42.504143Z"}},"outputs":[{"name":"stderr","text":"huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...\nTo disable this warning, you can either:\n\t- Avoid using `tokenizers` before the fork if possible\n\t- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true | false)\n","output_type":"stream"},{"name":"stdout","text":"Note: you may need to restart the kernel to use updated packages.\n","output_type":"stream"}],"execution_count":15},{"cell_type":"code","source":"from langchain.embeddings import HuggingFaceEmbeddings\nfrom langchain.vectorstores import Chroma\nfrom langchain_community.vectorstores import FAISS\nfrom langchain.schema import Document\nfrom langchain_text_splitters import RecursiveCharacterTextSplitter\nimport google.generativeai as genai\nimport os","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T05:55:47.860871Z","iopub.execute_input":"2025-02-07T05:55:47.861331Z","iopub.status.idle":"2025-02-07T05:55:47.868053Z","shell.execute_reply.started":"2025-02-07T05:55:47.861281Z","shell.execute_reply":"2025-02-07T05:55:47.866879Z"}},"outputs":[],"execution_count":16},{"cell_type":"markdown","source":"## RAG 없는 LLM 사용","metadata":{}},{"cell_type":"code","source":"# 1. Gemini model\ngenai_api_key = \"YOUR-API-KEY\" #\"YOUR-API-KEY\"\ngenai.configure(api_key=genai_api_key)\n\ngemini_model = genai.GenerativeModel('gemini-1.5-flash')","metadata":{"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"prompt = f\"질문: 1+1? \\n대답:\"\nresponse = gemini_model.generate_content(prompt)\nanswer = response.candidates[0].content.parts[0].text\nprint(answer)","metadata":{"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"markdown","source":"## VectorDB 에 데이터 저장","metadata":{}},{"cell_type":"code","source":"# set Korean embedding and llm model\nos.environ[\"HUGGINGFACEHUB_API_TOKEN\"] = \"YOUR-API-KEY\"  # Your-API-Key\n# hf_embeddings = HuggingFaceEmbeddings(model_name=\"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2\")\nhf_embeddings = HuggingFaceEmbeddings(model_name=\"jhgan/ko-sroberta-multitask\") ","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:05:15.043204Z","iopub.execute_input":"2025-02-07T06:05:15.043618Z","iopub.status.idle":"2025-02-07T06:05:15.72812Z","shell.execute_reply.started":"2025-02-07T06:05:15.043581Z","shell.execute_reply":"2025-02-07T06:05:15.727018Z"}},"outputs":[],"execution_count":25},{"cell_type":"code","source":"from langchain.vectorstores import Chroma\n# sample docs\ndocs = [\n    Document(page_content=\"한국어 챗봇은 자연어 처리 기술을 사용하여 사용자와 대화를 나눕니다.\", metadata={\"source\": \"doc1\"}),\n    Document(page_content=\"인공지능을 활용한 챗봇은 여러 산업에서 사용되고 있습니다.\", metadata={\"source\": \"doc2\"}),\n    Document(page_content=\"한국어와 영어를 동시에 지원하는 챗봇이 점점 늘어나고 있습니다.\", metadata={\"source\": \"doc3\"}),\n    Document(page_content=\"챗봇은 고객 서비스를 개선하고 사용자 경험을 향상시키는 데 중요한 역할을 합니다.\", metadata={\"source\": \"doc4\"})\n]\n\n# to avoid collision with previous one\npersist_directory = \"./new_chroma_db\"\nvectorstore = Chroma.from_documents(docs, embedding=hf_embeddings, persist_directory=\"./chroma_db\")","metadata":{"trusted":true},"outputs":[],"execution_count":null},{"cell_type":"code","source":"comments_list = [\n    {\n        \"writer\": \"@박은정-t1t\",\n        \"comments\": \"우아 영상의 퀄리티가 어마어마 하네요 이런건 좋아요 눌러야 함\",\n        \"like\": 184 \n    },\n    {\n        \"writer\": \"@GhosttownKOR\",\n        \"comments\": \"1:17 밀면은 아니고 소면입니다ㅋㅋㅋ 다른 지역은 모르겠는데 부산은 돼지국밥 시키면 소면주는 집들이 있습니다! 밀가루로 만들었으니 밀면이라고 하면 할 말 없지만.. 보통 부산에서 밀면은 냉면처럼 시원한 그 밀면에만 사용합니다\",\n        \"like\": 89        \n    },\n    {\n        \"writer\": \"@후후-k2q\",\n        \"comments\": \"진짜 야무지게 드시고 가셨네... 퀸님 맛집 추천은 진짜 믿고봐요ㅋㅋㅋㅋ\",\n        \"like\": 70        \n    },    \n    {\n        \"writer\": \"@zheen4385\",\n        \"comments\": \"송정3대국밥은 저도 가서 실망했어요… ㅋㅋㅋㅋ 저야 부산사니까 저기 한 번 간다고 손해는 없지만 끼니 횟수가 정해져 있는 관광객 입장에선 매우 실망했을 수도 있다 생각해요\",\n        \"like\": 504        \n    },    \n    {\n        \"writer\": \"@고효성-q8g\",\n        \"comments\": \"부산인인데 부산사람은 각자 마음속에 자신이 제일 좋아하는 국밥집이 하나씩 있다고 합니다 ㅋㅋㅋ 간짜장 좋아하는데 유원은 꼭 가보고싶네요 좋은 정보알아갑니다 감사합니다.\",\n        \"like\": 161        \n    },    \n    {\n        \"writer\": \"@jeonpodong-jumin\",\n        \"comments\": \"드디어 백설대학을 가셨네요! 매장이전하고 많이 깔끔해졌네요 ㅎㅎ 참치김밥을 드셨는데 여기 기본김밥이 미친맛이예요!! 유부와 우엉조림이 찌이이이인한 고소한 맛이랍니다 그리고 사장님 처음에 보면 투빅하고 불친절하다고 느낄수 있는데 부산아재의 유쾌솔직한 모습을 보셨네요 부산에 맛집들 많으니까 더 오셔서 영상올려주세요~\",\n        \"like\": 9        \n    },  \n    {\n        \"writer\": \"@soothingcream\",\n        \"comments\": \"부산사람들한테 돼지국밥은 집앞이나 동네에 돼지국밥이 최고인 경우가 많고 워낙 돼지국밥 종류가 다양해서 (농도, 부위 등등) 개취가 심한 음식중 하나라 맛없다고 단정지어 말하기엔 그렇지만 국밥집은 관광오는분들에게 알려진 곳은 거르는게 맞는것 같아요 고관은 그냥 동네 가성비 맛집이었는데 sns이런데 알려지면서 더 그냥저냥 되어버렸고 가끔 포장용 함박만 사서 집에서 해먹는게 맛있더라고요 무튼 sns 맛집은 거의 맛이 변했거나 맛없는 경우가 대부분입니다..\",\n        \"like\": 30        \n    },  \n    {\n        \"writer\": \"@겉돌이-s5w\",\n        \"comments\": \"08:57  와 김밥 써는거 개신기하네 ㅋㅋㅋㅋ ㄹㅇ 첨보는데 저런 광경은 ㅋㅋㅋ\",\n        \"like\": 128        \n    },  \n    {\n        \"writer\": \"@BrandoDio-u1e\",\n        \"comments\": \"1:57 바오하우스 13팀 대기면 좋게 가셨네요ㅠㅠ. 부산 토백인데도 갈 때 마다 웨이팅이 30팀 넘게 있어서 아직도 못먹은...\",\n        \"like\": 35        \n    },  \n    {\n        \"writer\": \"@kjpark9951\",\n        \"comments\": \"백설대학...  거의 10년전부터 가끔 가던 곳인데... 장사가 잘되어서 그런지 가게를 옮겨서 그런지... 사장님 쫌...  카드되냐고 물으니 계좌이체된다고 답하시더군요. 마법의 문장입니다.\",\n        \"like\": 27        \n    },  \n    {\n        \"writer\": \"@콩-k3z\",\n        \"comments\": \"부산 현지인인데 동영상 다 보기도 전에 송정 국밥집 보고 이마 짚었습니다 ..😵‍💫 다음에 부산 오시면 송정국밥집 옆에 수영 본가국밥 가셔서 오겹국밥 셀프 코너에서 청양고추 몇개 가져와서 잘게 다진 후 국밥에 섞어서 꼭 드셔보세요! 서면시장 국밥 라인에선 수영이 젤 맛있고 양 많아용\",\n        \"like\": 7        \n    },  \n    {\n        \"writer\": \"@minsim8275\",\n        \"comments\": \"부산국밥은 진짜 각양각색입니다 조금씩 다 다달라요 각자의 최애가 존재합니다 ㅎㅎ 저의 최애는 지금은 폐업한 용호동 국밥집,,과,,, 경성대 형제 돼지국밥, 영진돼지국밥입니다(본점)\",\n        \"like\": 43       \n    }\n]\n\nprint(len(comments_list))","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T05:45:29.240408Z","iopub.execute_input":"2025-02-07T05:45:29.240805Z","iopub.status.idle":"2025-02-07T05:45:29.25037Z","shell.execute_reply.started":"2025-02-07T05:45:29.240769Z","shell.execute_reply":"2025-02-07T05:45:29.249214Z"}},"outputs":[{"name":"stdout","text":"12\n","output_type":"stream"}],"execution_count":3},{"cell_type":"code","source":"for doc in comments_list:\n    print(doc)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T05:47:34.127451Z","iopub.execute_input":"2025-02-07T05:47:34.12826Z","iopub.status.idle":"2025-02-07T05:47:34.13359Z","shell.execute_reply.started":"2025-02-07T05:47:34.128223Z","shell.execute_reply":"2025-02-07T05:47:34.13238Z"}},"outputs":[{"name":"stdout","text":"{'writer': '@박은정-t1t', 'comments': '우아 영상의 퀄리티가 어마어마 하네요 이런건 좋아요 눌러야 함', 'like': 184}\n{'writer': '@GhosttownKOR', 'comments': '1:17 밀면은 아니고 소면입니다ㅋㅋㅋ 다른 지역은 모르겠는데 부산은 돼지국밥 시키면 소면주는 집들이 있습니다! 밀가루로 만들었으니 밀면이라고 하면 할 말 없지만.. 보통 부산에서 밀면은 냉면처럼 시원한 그 밀면에만 사용합니다', 'like': 89}\n{'writer': '@후후-k2q', 'comments': '진짜 야무지게 드시고 가셨네... 퀸님 맛집 추천은 진짜 믿고봐요ㅋㅋㅋㅋ', 'like': 70}\n{'writer': '@zheen4385', 'comments': '송정3대국밥은 저도 가서 실망했어요… ㅋㅋㅋㅋ 저야 부산사니까 저기 한 번 간다고 손해는 없지만 끼니 횟수가 정해져 있는 관광객 입장에선 매우 실망했을 수도 있다 생각해요', 'like': 504}\n{'writer': '@고효성-q8g', 'comments': '부산인인데 부산사람은 각자 마음속에 자신이 제일 좋아하는 국밥집이 하나씩 있다고 합니다 ㅋㅋㅋ 간짜장 좋아하는데 유원은 꼭 가보고싶네요 좋은 정보알아갑니다 감사합니다.', 'like': 161}\n{'writer': '@jeonpodong-jumin', 'comments': '드디어 백설대학을 가셨네요! 매장이전하고 많이 깔끔해졌네요 ㅎㅎ 참치김밥을 드셨는데 여기 기본김밥이 미친맛이예요!! 유부와 우엉조림이 찌이이이인한 고소한 맛이랍니다 그리고 사장님 처음에 보면 투빅하고 불친절하다고 느낄수 있는데 부산아재의 유쾌솔직한 모습을 보셨네요 부산에 맛집들 많으니까 더 오셔서 영상올려주세요~', 'like': 9}\n{'writer': '@soothingcream', 'comments': '부산사람들한테 돼지국밥은 집앞이나 동네에 돼지국밥이 최고인 경우가 많고 워낙 돼지국밥 종류가 다양해서 (농도, 부위 등등) 개취가 심한 음식중 하나라 맛없다고 단정지어 말하기엔 그렇지만 국밥집은 관광오는분들에게 알려진 곳은 거르는게 맞는것 같아요 고관은 그냥 동네 가성비 맛집이었는데 sns이런데 알려지면서 더 그냥저냥 되어버렸고 가끔 포장용 함박만 사서 집에서 해먹는게 맛있더라고요 무튼 sns 맛집은 거의 맛이 변했거나 맛없는 경우가 대부분입니다..', 'like': 30}\n{'writer': '@겉돌이-s5w', 'comments': '08:57  와 김밥 써는거 개신기하네 ㅋㅋㅋㅋ ㄹㅇ 첨보는데 저런 광경은 ㅋㅋㅋ', 'like': 128}\n{'writer': '@BrandoDio-u1e', 'comments': '1:57 바오하우스 13팀 대기면 좋게 가셨네요ㅠㅠ. 부산 토백인데도 갈 때 마다 웨이팅이 30팀 넘게 있어서 아직도 못먹은...', 'like': 35}\n{'writer': '@kjpark9951', 'comments': '백설대학...  거의 10년전부터 가끔 가던 곳인데... 장사가 잘되어서 그런지 가게를 옮겨서 그런지... 사장님 쫌...  카드되냐고 물으니 계좌이체된다고 답하시더군요. 마법의 문장입니다.', 'like': 27}\n{'writer': '@콩-k3z', 'comments': '부산 현지인인데 동영상 다 보기도 전에 송정 국밥집 보고 이마 짚었습니다 ..😵\\u200d💫 다음에 부산 오시면 송정국밥집 옆에 수영 본가국밥 가셔서 오겹국밥 셀프 코너에서 청양고추 몇개 가져와서 잘게 다진 후 국밥에 섞어서 꼭 드셔보세요! 서면시장 국밥 라인에선 수영이 젤 맛있고 양 많아용', 'like': 7}\n{'writer': '@minsim8275', 'comments': '부산국밥은 진짜 각양각색입니다 조금씩 다 다달라요 각자의 최애가 존재합니다 ㅎㅎ 저의 최애는 지금은 폐업한 용호동 국밥집,,과,,, 경성대 형제 돼지국밥, 영진돼지국밥입니다(본점)', 'like': 43}\n","output_type":"stream"}],"execution_count":7},{"cell_type":"code","source":"# convert to Document object (required for LangChain)\ndocuments = [Document(page_content=doc[\"comments\"], \n                    metadata={\"writer\": doc[\"writer\"], \"like\": doc[\"like\"]}) \n             for doc in comments_list]\n\ntext_splitter = RecursiveCharacterTextSplitter(\n    chunk_size=1000,\n    chunk_overlap=200\n)\nsplits = text_splitter.split_documents(documents)    \n\nvectorstore = FAISS.from_documents(documents=splits, embedding=hf_embeddings)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:05:41.079981Z","iopub.execute_input":"2025-02-07T06:05:41.080389Z","iopub.status.idle":"2025-02-07T06:05:43.193942Z","shell.execute_reply.started":"2025-02-07T06:05:41.080357Z","shell.execute_reply":"2025-02-07T06:05:43.192806Z"}},"outputs":[],"execution_count":26},{"cell_type":"markdown","source":"## VectorDB로 쿼리와 유사한 문서 검색","metadata":{}},{"cell_type":"code","source":"query = \"불친절\"\n# docs = vectorstore.as_retriever().get_relevant_documents(query)\n# docs\n\nresults = vectorstore.similarity_search_with_score(query, k=4) # similarity_search_with_score(query=query, k=4)\n\nfor doc, score in results:\n    print(f\"* 유사도: [SIM={score:3f}]\\n댓글: {doc.page_content}\\n메타데이터: {doc.metadata}]\")\n    print()","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:09:42.513661Z","iopub.execute_input":"2025-02-07T06:09:42.514478Z","iopub.status.idle":"2025-02-07T06:09:42.572855Z","shell.execute_reply.started":"2025-02-07T06:09:42.514433Z","shell.execute_reply":"2025-02-07T06:09:42.571658Z"}},"outputs":[{"name":"stdout","text":"* [SIM=171.345337]\n드디어 백설대학을 가셨네요! 매장이전하고 많이 깔끔해졌네요 ㅎㅎ 참치김밥을 드셨는데 여기 기본김밥이 미친맛이예요!! 유부와 우엉조림이 찌이이이인한 고소한 맛이랍니다 그리고 사장님 처음에 보면 투빅하고 불친절하다고 느낄수 있는데 부산아재의 유쾌솔직한 모습을 보셨네요 부산에 맛집들 많으니까 더 오셔서 영상올려주세요~\nmetadata: {'writer': '@jeonpodong-jumin', 'like': 9}]\n\n* [SIM=174.800125]\n송정3대국밥은 저도 가서 실망했어요… ㅋㅋㅋㅋ 저야 부산사니까 저기 한 번 간다고 손해는 없지만 끼니 횟수가 정해져 있는 관광객 입장에선 매우 실망했을 수도 있다 생각해요\nmetadata: {'writer': '@zheen4385', 'like': 504}]\n\n* [SIM=189.527420]\n08:57  와 김밥 써는거 개신기하네 ㅋㅋㅋㅋ ㄹㅇ 첨보는데 저런 광경은 ㅋㅋㅋ\nmetadata: {'writer': '@겉돌이-s5w', 'like': 128}]\n\n* [SIM=195.640350]\n백설대학...  거의 10년전부터 가끔 가던 곳인데... 장사가 잘되어서 그런지 가게를 옮겨서 그런지... 사장님 쫌...  카드되냐고 물으니 계좌이체된다고 답하시더군요. 마법의 문장입니다.\nmetadata: {'writer': '@kjpark9951', 'like': 27}]\n\n","output_type":"stream"}],"execution_count":29},{"cell_type":"markdown","source":"## RAG + LLM","metadata":{}},{"cell_type":"code","source":"# RAG using prompt\ndef rag_chatbot(question):\n    context_doc = vectorstore.similarity_search(question, k=4 ) # filter={\"like\": {\"$gte\": 10}}\n    \n    # context = \" \".join([doc.page_content for doc in context_doc])\n    context = \"\\n\".join([f\"문서{i+1}: \" + doc.page_content for i, doc in enumerate(context_doc)])\n\n    prompt = f\"Context: {context}\\질문: {question} | 짧게 대답해줘:\"\n    \n    # response = gemini_model(prompt)    \n    response = gemini_model.generate_content(prompt)\n    answer = response.candidates[0].content.parts[0].text\n\n    return answer, context","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:38:03.72086Z","iopub.execute_input":"2025-02-07T06:38:03.721744Z","iopub.status.idle":"2025-02-07T06:38:03.727981Z","shell.execute_reply.started":"2025-02-07T06:38:03.721687Z","shell.execute_reply":"2025-02-07T06:38:03.72687Z"}},"outputs":[],"execution_count":38},{"cell_type":"code","source":"# sample question\nquestion = \"백설대학 계좌이체 가능해?\"\nresponse, context = rag_chatbot(question)\n\nprint(\"질문:\", question)\nprint(\"답변:\", response)\nprint('='*100)\nprint(\"출처 문서:\", context)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:38:03.887583Z","iopub.execute_input":"2025-02-07T06:38:03.888006Z","iopub.status.idle":"2025-02-07T06:38:04.221774Z","shell.execute_reply.started":"2025-02-07T06:38:03.88797Z","shell.execute_reply":"2025-02-07T06:38:04.220653Z"}},"outputs":[{"name":"stdout","text":"질문: 백설대학 계좌이체 가능해?\n답변: 네, 가능합니다.\n\n====================================================================================================\n출처 문서: 백설대학...  거의 10년전부터 가끔 가던 곳인데... 장사가 잘되어서 그런지 가게를 옮겨서 그런지... 사장님 쫌...  카드되냐고 물으니 계좌이체된다고 답하시더군요. 마법의 문장입니다. 1:57 바오하우스 13팀 대기면 좋게 가셨네요ㅠㅠ. 부산 토백인데도 갈 때 마다 웨이팅이 30팀 넘게 있어서 아직도 못먹은... 부산사람들한테 돼지국밥은 집앞이나 동네에 돼지국밥이 최고인 경우가 많고 워낙 돼지국밥 종류가 다양해서 (농도, 부위 등등) 개취가 심한 음식중 하나라 맛없다고 단정지어 말하기엔 그렇지만 국밥집은 관광오는분들에게 알려진 곳은 거르는게 맞는것 같아요 고관은 그냥 동네 가성비 맛집이었는데 sns이런데 알려지면서 더 그냥저냥 되어버렸고 가끔 포장용 함박만 사서 집에서 해먹는게 맛있더라고요 무튼 sns 맛집은 거의 맛이 변했거나 맛없는 경우가 대부분입니다.. 부산인인데 부산사람은 각자 마음속에 자신이 제일 좋아하는 국밥집이 하나씩 있다고 합니다 ㅋㅋㅋ 간짜장 좋아하는데 유원은 꼭 가보고싶네요 좋은 정보알아갑니다 감사합니다.\n","output_type":"stream"}],"execution_count":39},{"cell_type":"markdown","source":"## 목적에 맞게 Prompt engineering: 요약하기, 해시태그 생성 등","metadata":{}},{"cell_type":"code","source":"query = \"송정3대국밥\"\ncontext_doc = vectorstore.similarity_search(query, k=3)    \n\ncontext = \"\\n\".join([f\"문서{i+1}: \" + doc.page_content for i, doc in enumerate(context_doc)])\n# prompt = f\"Context:\\n{context}\\n\\n주어진 정보를 기반으로 중요한 정보만을 추출해서 해시태그 형태로 list에 담아 한 줄로 리턴해줘. hashtags=\"\nprompt = f\"Context:\\n{context}\\n\\n주어진 정보를 기반으로 간단하게 요약해줘.\"\n\nresponse = gemini_model.generate_content(prompt)\nanswer = response.candidates[0].content.parts[0].text\n\nprint(\"답변\\n:\", answer)\nprint(\"출처 문서:\\n\", context)","metadata":{"trusted":true,"execution":{"iopub.status.busy":"2025-02-07T06:46:38.2969Z","iopub.execute_input":"2025-02-07T06:46:38.297578Z","iopub.status.idle":"2025-02-07T06:46:39.296072Z","shell.execute_reply.started":"2025-02-07T06:46:38.29754Z","shell.execute_reply":"2025-02-07T06:46:39.29501Z"}},"outputs":[{"name":"stdout","text":"답변: 부산 돼지국밥은 개인 취향이 강하고, 지역 주민들은 자신만의 최고 국밥집을 가지고 있다.  SNS 유명 돼지국밥집은 기대에 못 미칠 수 있으며, 현지인들은 관광객에게 유명한 곳보다 동네 맛집을 추천한다.  특히 송정국밥은 비추천 대상이고, 수영 본가국밥의 오겹국밥을 추천하는 의견이 있다.\n\n출처 문서:\n 문서1: 부산 현지인인데 동영상 다 보기도 전에 송정 국밥집 보고 이마 짚었습니다 ..😵‍💫 다음에 부산 오시면 송정국밥집 옆에 수영 본가국밥 가셔서 오겹국밥 셀프 코너에서 청양고추 몇개 가져와서 잘게 다진 후 국밥에 섞어서 꼭 드셔보세요! 서면시장 국밥 라인에선 수영이 젤 맛있고 양 많아용\n문서2: 부산사람들한테 돼지국밥은 집앞이나 동네에 돼지국밥이 최고인 경우가 많고 워낙 돼지국밥 종류가 다양해서 (농도, 부위 등등) 개취가 심한 음식중 하나라 맛없다고 단정지어 말하기엔 그렇지만 국밥집은 관광오는분들에게 알려진 곳은 거르는게 맞는것 같아요 고관은 그냥 동네 가성비 맛집이었는데 sns이런데 알려지면서 더 그냥저냥 되어버렸고 가끔 포장용 함박만 사서 집에서 해먹는게 맛있더라고요 무튼 sns 맛집은 거의 맛이 변했거나 맛없는 경우가 대부분입니다..\n문서3: 부산인인데 부산사람은 각자 마음속에 자신이 제일 좋아하는 국밥집이 하나씩 있다고 합니다 ㅋㅋㅋ 간짜장 좋아하는데 유원은 꼭 가보고싶네요 좋은 정보알아갑니다 감사합니다.\n","output_type":"stream"}],"execution_count":48},{"cell_type":"code","source":"# Note:\n1. vectorstore에 들어가는 임베딩 모델 (예: jhgan/ko-sroberta-multitask)의 성능 체크 및 한국어데이터에 최적화 되어 있을 것\n2. LLM에 들어가는 prompt 엔지니어링\n\n참고:\nhttps://python.langchain.com/docs/integrations/vectorstores/faiss/","metadata":{"trusted":true},"outputs":[],"execution_count":null}]}