Merge branch 'datawhalechina:main' into main

Author: pzc163

.gitignore

@@ -1,5 +1,6 @@
 # Byte-compiled / optimized / DLL files
 __pycache__/
+pdf/
 tnews-finetuning*
 contribute.md
 *.drawio
@@ -134,4 +135,4 @@ dmypy.json
 # Pyre type checker
 .pyre/
 
-.idea
+.idea

content/ChatGPT使用指南——句词分类.ipynb

@@ -1,5 +1,16 @@
 {
  "cells": [
+  {
+   "cell_type": "markdown",
+   "id": "44c04ffa",
+   "metadata": {
+    "toc": true
+   },
+   "source": [
+    "<h1>Table of Contents<span class=\"tocSkip\"></span></h1>\n",
+    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#ChatGPT使用指南——句词分类\" data-toc-modified-id=\"ChatGPT使用指南——句词分类-1\">ChatGPT使用指南——句词分类</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.-NLU基础\" data-toc-modified-id=\"1.-NLU基础-1.1\">1. NLU基础</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.1-句子级别的分类\" data-toc-modified-id=\"1.1-句子级别的分类-1.1.1\">1.1 句子级别的分类</a></span></li><li><span><a href=\"#1.2-Token级别的分类\" data-toc-modified-id=\"1.2-Token级别的分类-1.1.2\">1.2 Token级别的分类</a></span></li></ul></li><li><span><a href=\"#2.-相关API\" data-toc-modified-id=\"2.-相关API-1.2\">2. 相关API</a></span><ul class=\"toc-item\"><li><span><a href=\"#2.1-LMAS-GPT-API\" data-toc-modified-id=\"2.1-LMAS-GPT-API-1.2.1\">2.1 LMAS GPT API</a></span></li><li><span><a href=\"#2.2-ChatGPT-Style\" data-toc-modified-id=\"2.2-ChatGPT-Style-1.2.2\">2.2 ChatGPT Style</a></span></li></ul></li><li><span><a href=\"#3.-NLU应用\" data-toc-modified-id=\"3.-NLU应用-1.3\">3. NLU应用</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.1-文档问答\" data-toc-modified-id=\"3.1-文档问答-1.3.1\">3.1 文档问答</a></span></li><li><span><a href=\"#3.2-分类/实体微调\" data-toc-modified-id=\"3.2-分类/实体微调-1.3.2\">3.2 分类/实体微调</a></span></li><li><span><a href=\"#3.3-智能对话\" data-toc-modified-id=\"3.3-智能对话-1.3.3\">3.3 智能对话</a></span></li></ul></li><li><span><a href=\"#相关文献\" data-toc-modified-id=\"相关文献-1.4\">相关文献</a></span></li></ul></li></ul></div>"
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "a54767af",
@@ -4898,7 +4909,7 @@
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
+   "display_name": "Python 3",
    "language": "python",
    "name": "python3"
   },
@@ -4912,7 +4923,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.7.9"
+   "version": "3.8.13"
   },
   "latex_envs": {
    "LaTeX_envs_menu_present": true,
@@ -4940,7 +4951,7 @@
    "skip_h1_title": false,
    "title_cell": "Table of Contents",
    "title_sidebar": "Contents",
-   "toc_cell": false,
+   "toc_cell": true,
    "toc_position": {
     "height": "calc(100% - 180px)",
     "left": "10px",
@@ -4953,4 +4964,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 5
-}
+}

content/ChatGPT使用指南——文本推理.ipynb

@@ -1,5 +1,15 @@
 {
  "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "toc": true
+   },
+   "source": [
+    "<h1>Table of Contents<span class=\"tocSkip\"></span></h1>\n",
+    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#ChatGPT使用指南——推理Reasoning\" data-toc-modified-id=\"ChatGPT使用指南——推理Reasoning-1\">ChatGPT使用指南——推理Reasoning</a></span><ul class=\"toc-item\"><li><span><a href=\"#1.-什么是推理（Reasoning）？\" data-toc-modified-id=\"1.-什么是推理（Reasoning）？-1.1\">1. 什么是推理（Reasoning）？</a></span></li><li><span><a href=\"#2.-导入ChatGPT\" data-toc-modified-id=\"2.-导入ChatGPT-1.2\">2. 导入ChatGPT</a></span></li><li><span><a href=\"#3.-测试ChatGPT的推理能力\" data-toc-modified-id=\"3.-测试ChatGPT的推理能力-1.3\">3. 测试ChatGPT的推理能力</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.1-演绎推理（Deductive-Reasoning）\" data-toc-modified-id=\"3.1-演绎推理（Deductive-Reasoning）-1.3.1\">3.1 演绎推理（Deductive Reasoning）</a></span></li><li><span><a href=\"#3.2-归纳推理（Inductive-Reasoning）\" data-toc-modified-id=\"3.2-归纳推理（Inductive-Reasoning）-1.3.2\">3.2 归纳推理（Inductive Reasoning）</a></span></li><li><span><a href=\"#3.3-溯因推理（Abductive-reasoning）\" data-toc-modified-id=\"3.3-溯因推理（Abductive-reasoning）-1.3.3\">3.3 溯因推理（Abductive reasoning）</a></span></li><li><span><a href=\"#3.4-三者之间的关系\" data-toc-modified-id=\"3.4-三者之间的关系-1.3.4\">3.4 三者之间的关系</a></span></li></ul></li><li><span><a href=\"#4.-调用ChatPT的推理能力\" data-toc-modified-id=\"4.-调用ChatPT的推理能力-1.4\">4. 调用ChatPT的推理能力</a></span><ul class=\"toc-item\"><li><span><a href=\"#4.1-LLM推理求鼓励，请告诉ChatGPT去思考——Let's-think-step-by-step(Zero-shot-COT)\" data-toc-modified-id=\"4.1-LLM推理求鼓励，请告诉ChatGPT去思考——Let's-think-step-by-step(Zero-shot-COT)-1.4.1\">4.1 LLM推理求鼓励，请告诉ChatGPT去思考——Let's think step by step(Zero-shot-COT)</a></span></li><li><span><a href=\"#4.2-给几个例子，告诉ChatGPT应该这么思考——Chain-of-Thought-Prompting\" data-toc-modified-id=\"4.2-给几个例子，告诉ChatGPT应该这么思考——Chain-of-Thought-Prompting-1.4.2\">4.2 给几个例子，告诉ChatGPT应该这么思考——Chain of Thought Prompting</a></span></li><li><span><a href=\"#4.3-任务太难，拆分一下，找个简单的去突破——Least-to-Most-prompting\" data-toc-modified-id=\"4.3-任务太难，拆分一下，找个简单的去突破——Least-to-Most-prompting-1.4.3\">4.3 任务太难，拆分一下，找个简单的去突破——Least to Most prompting</a></span></li><li><span><a href=\"#4.4-并非所有问题都需要拆解，不如先问问LLM(比如：ChatGPT)的意见——Self-Ask\" data-toc-modified-id=\"4.4-并非所有问题都需要拆解，不如先问问LLM(比如：ChatGPT)的意见——Self-Ask-1.4.4\">4.4 并非所有问题都需要拆解，不如先问问LLM(比如：ChatGPT)的意见——Self-Ask</a></span></li><li><span><a href=\"#4.5-集思广益——Self-Consistency\" data-toc-modified-id=\"4.5-集思广益——Self-Consistency-1.4.5\">4.5 集思广益——Self Consistency</a></span></li></ul></li><li><span><a href=\"#5.-ChatGPT以及GPT-4的推理能力\" data-toc-modified-id=\"5.-ChatGPT以及GPT-4的推理能力-1.5\">5. ChatGPT以及GPT-4的推理能力</a></span></li><li><span><a href=\"#6.-本章总结\" data-toc-modified-id=\"6.-本章总结-1.6\">6. 本章总结</a></span></li><li><span><a href=\"#相关文献\" data-toc-modified-id=\"相关文献-1.7\">相关文献</a></span></li></ul></li></ul></div>"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -1537,9 +1547,9 @@
     "response = openai.ChatCompletion.create(\n",
     "    model=MODEL,\n",
     "    messages=[\n",
-    "        {\"role\": \"user\", \"content\": \"你现在是 MultisatgeGPT：你与 ChatGPT 一样，但对于每一个问题，\\n \\\n",
+    "        {\"role\": \"user\", \"content\": \"你现在是 MultistageGPT：你与 ChatGPT 一样，但对于每一个问题，\\n \\\n",
     "            你会将问题分解为子问题，然后将它们结合起来，输出最佳的措辞、最全面和最准确的答案。输出应该看起来像这样：\\n \\\n",
-    "            ChatGPT：{ChatGPT 通常会说什么}； MultisatgeGPT：{更好、更全面的答案} 让我们从简单的问题开始：5*10 - 3*10 = ？\"},\n",
+    "            ChatGPT：{ChatGPT 通常会说什么}； MultistageGPT：{更好、更全面的答案} 让我们从简单的问题开始：5*10 - 3*10 = ？\"},\n",
     "    ],\n",
     "    temperature=0,\n",
     ")\n",
@@ -1566,9 +1576,9 @@
     "response = openai.ChatCompletion.create(\n",
     "    model=MODEL,\n",
     "    messages=[\n",
-    "        {\"role\": \"user\", \"content\": \"你现在是 MultisatgeGPT：你与 ChatGPT 一样，但对于每一个问题，\\n \\\n",
+    "        {\"role\": \"user\", \"content\": \"你现在是 MultistageGPT：你与 ChatGPT 一样，但对于每一个问题，\\n \\\n",
     "            你会将问题分解为子问题，然后将它们结合起来，输出最佳的措辞、最全面和最准确的答案。输出应该看起来像这样：\\n \\\n",
-    "            ChatGPT：{ChatGPT 通常会说什么}；MultisatgeGPT：{更好、更全面的答案} 让我们从简单的问题开始：[32, 21,90]中最大的数，与[19,233, 90]中最小的数，相差多少？\"},\n",
+    "            ChatGPT：{ChatGPT 通常会说什么}；MultistageGPT：{更好、更全面的答案} 让我们从简单的问题开始：[32, 21,90]中最大的数，与[19,233, 90]中最小的数，相差多少？\"},\n",
     "    ],\n",
     "    temperature=0,\n",
     ")\n",
@@ -1905,7 +1915,7 @@
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
+   "display_name": "Python 3",
    "language": "python",
    "name": "python3"
   },
@@ -1947,7 +1957,7 @@
    "skip_h1_title": false,
    "title_cell": "Table of Contents",
    "title_sidebar": "Contents",
-   "toc_cell": false,
+   "toc_cell": true,
    "toc_position": {
     "height": "calc(100% - 180px)",
     "left": "10px",
@@ -1960,4 +1970,4 @@
  },
  "nbformat": 4,
  "nbformat_minor": 2
-}
+}

content/ChatGPT使用指南——文本生成.ipynb

@@ -1,5 +1,16 @@
 {
  "cells": [
+  {
+   "cell_type": "markdown",
+   "id": "4013b22e",
+   "metadata": {
+    "toc": true
+   },
+   "source": [
+    "<h1>Table of Contents<span class=\"tocSkip\"></span></h1>\n",
+    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#ChatGPT使用指南——文本生成\" data-toc-modified-id=\"ChatGPT使用指南——文本生成-1\">ChatGPT使用指南——文本生成</a></span><ul class=\"toc-item\"><li><span><a href=\"#1-引言\" data-toc-modified-id=\"1-引言-1.1\">1 引言</a></span></li><li><span><a href=\"#2-文本摘要任务\" data-toc-modified-id=\"2-文本摘要任务-1.2\">2 文本摘要任务</a></span><ul class=\"toc-item\"><li><span><a href=\"#2.1-什么是文本摘要？\" data-toc-modified-id=\"2.1-什么是文本摘要？-1.2.1\">2.1 什么是文本摘要？</a></span></li><li><span><a href=\"#2.2-常见的文本摘要技术\" data-toc-modified-id=\"2.2-常见的文本摘要技术-1.2.2\">2.2 常见的文本摘要技术</a></span></li><li><span><a href=\"#2.3-基于OpenAI接口的文本摘要实验\" data-toc-modified-id=\"2.3-基于OpenAI接口的文本摘要实验-1.2.3\">2.3 基于OpenAI接口的文本摘要实验</a></span><ul class=\"toc-item\"><li><span><a href=\"#2.3.1-简单上手版：调用预训练模型\" data-toc-modified-id=\"2.3.1-简单上手版：调用预训练模型-1.2.3.1\">2.3.1 简单上手版：调用预训练模型</a></span></li><li><span><a href=\"#2.3.2-进阶优化版：基于自定义语料fine-tune\" data-toc-modified-id=\"2.3.2-进阶优化版：基于自定义语料fine-tune-1.2.3.2\">2.3.2 进阶优化版：基于自定义语料fine tune</a></span></li></ul></li></ul></li><li><span><a href=\"#3-文本纠错任务\" data-toc-modified-id=\"3-文本纠错任务-1.3\">3 文本纠错任务</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.1-什么是文本纠错？\" data-toc-modified-id=\"3.1-什么是文本纠错？-1.3.1\">3.1 什么是文本纠错？</a></span></li><li><span><a href=\"#3.2-常见的文本纠错技术\" data-toc-modified-id=\"3.2-常见的文本纠错技术-1.3.2\">3.2 常见的文本纠错技术</a></span><ul class=\"toc-item\"><li><span><a href=\"#3.2.1-基于规则的文本纠错技术\" data-toc-modified-id=\"3.2.1-基于规则的文本纠错技术-1.3.2.1\">3.2.1 基于规则的文本纠错技术</a></span></li><li><span><a href=\"#3.2.2-基于语言模型的文本纠错技术\" data-toc-modified-id=\"3.2.2-基于语言模型的文本纠错技术-1.3.2.2\">3.2.2 基于语言模型的文本纠错技术</a></span></li><li><span><a href=\"#3.2.3-基于MLM的文本纠错技术\" data-toc-modified-id=\"3.2.3-基于MLM的文本纠错技术-1.3.2.3\">3.2.3 基于MLM的文本纠错技术</a></span></li><li><span><a href=\"#3.2.4-基于NLG的文本纠错技术\" data-toc-modified-id=\"3.2.4-基于NLG的文本纠错技术-1.3.2.4\">3.2.4 基于NLG的文本纠错技术</a></span></li><li><span><a href=\"#3.2.5-一个文本纠错工具集：pycorrector\" data-toc-modified-id=\"3.2.5-一个文本纠错工具集：pycorrector-1.3.2.5\">3.2.5 一个文本纠错工具集：pycorrector</a></span></li></ul></li></ul></li><li><span><a href=\"#3.3-基于OpenAI接口的文本纠错实验\" data-toc-modified-id=\"3.3-基于OpenAI接口的文本纠错实验-1.4\">3.3 基于OpenAI接口的文本纠错实验</a></span></li><li><span><a href=\"#4-机器翻译\" data-toc-modified-id=\"4-机器翻译-1.5\">4 机器翻译</a></span><ul class=\"toc-item\"><li><span><a href=\"#4.1-什么是机器翻译？\" data-toc-modified-id=\"4.1-什么是机器翻译？-1.5.1\">4.1 什么是机器翻译？</a></span></li><li><span><a href=\"#4.2-常见的机器翻译技术\" data-toc-modified-id=\"4.2-常见的机器翻译技术-1.5.2\">4.2 常见的机器翻译技术</a></span></li><li><span><a href=\"#4.3-基于OpenAI接口的机器翻译实验\" data-toc-modified-id=\"4.3-基于OpenAI接口的机器翻译实验-1.5.3\">4.3 基于OpenAI接口的机器翻译实验</a></span><ul class=\"toc-item\"><li><span><a href=\"#4.3.1-简单上手版：短文本英翻中\" data-toc-modified-id=\"4.3.1-简单上手版：短文本英翻中-1.5.3.1\">4.3.1 简单上手版：短文本英翻中</a></span></li><li><span><a href=\"#4.3.2-进阶深度版：长书籍英翻中\" data-toc-modified-id=\"4.3.2-进阶深度版：长书籍英翻中-1.5.3.2\">4.3.2 进阶深度版：长书籍英翻中</a></span></li></ul></li></ul></li><li><span><a href=\"#相关文献\" data-toc-modified-id=\"相关文献-1.6\">相关文献</a></span></li></ul></li></ul></div>"
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "e29809a4",
@@ -1570,7 +1581,7 @@
  ],
  "metadata": {
   "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
+   "display_name": "Python 3",
    "language": "python",
    "name": "python3"
   },
@@ -1584,7 +1595,43 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.9.13"
+   "version": "3.8.13"
+  },
+  "latex_envs": {
+   "LaTeX_envs_menu_present": true,
+   "autoclose": false,
+   "autocomplete": true,
+   "bibliofile": "biblio.bib",
+   "cite_by": "apalike",
+   "current_citInitial": 1,
+   "eqLabelWithNumbers": true,
+   "eqNumInitial": 1,
+   "hotkeys": {
+    "equation": "Ctrl-E",
+    "itemize": "Ctrl-I"
+   },
+   "labels_anchors": false,
+   "latex_user_defs": false,
+   "report_style_numbering": false,
+   "user_envs_cfg": false
+  },
+  "toc": {
+   "base_numbering": 1,
+   "nav_menu": {},
+   "number_sections": false,
+   "sideBar": true,
+   "skip_h1_title": false,
+   "title_cell": "Table of Contents",
+   "title_sidebar": "Contents",
+   "toc_cell": true,
+   "toc_position": {
+    "height": "calc(100% - 180px)",
+    "left": "10px",
+    "top": "150px",
+    "width": "288px"
+   },
+   "toc_section_display": true,
+   "toc_window_display": true
   }
  },
  "nbformat": 4,