SS 2021 SEMINAR Reinforcement Learning In Der Sprachtechnologie

Repository für die Online-Lehrverantstaltung 'Reinforcement Learning in der Sprachtechnologie' im Sommersemester 2021.

Moduldetails

• Termin: jeden Mittwoch 12-14 Uhr, erster Termin: 14.04.2021, letzter Termin: 14.07.2021
• Ort: https://uni-jena-de.zoom.us/j/68193002653
• Kennwort: siehe private Mail
• Leistungspunkte: 3LP
• Prüfungsleistung: einmalige 15-minütige Paper-Präsentation inkl. Ausarbeitung + 3 Hausaufgaben
• Sprache: deutsch (english on demand)
• Modulverantwortliche: Prof. Sina Zarrieß und Henrik Voigt

Inhalt

• Short Recap: Machine Learning
• Short Recap: Implementierung von Machine Learning Konzepten in Python
• Theory: Konzepte des Reinforcement Learning
• Theory: Sprachagenten
• -- skriptbasierten Agenten
• -- Supervised-Learning basierte Agenten
• -- Reinforcement Learning basierte Agenten
• Practice: Praktische Umsetzung von Reinforcement Learning Konzepten in Python
• Practice: Implementierung von Sprachagenten in Python

Ablaufplan

• 14.04.2021: Einführungsveranstaltung
• 21.04.2021: Short Recap: Konzepte des Machine Learning
• 28.04.2021: Short Recap: Implementierung von Machine Learning Konzepten in Python
• 05.05.2021: Theory: Grundlagen des Reinforcement Learning I
• 12.05.2021: Theory: Grundlagen des Reinforcement Learning II
• 19.05.2021: Practice Session I: RL Examples in Python
• 26.05.2021: Practice Session II: RL Examples in Python
• 02.06.2021: Theory: Skriptbasierte Sprachagenten I
• 09.06.2021: Theory: Supervised Learning basierte Sprachagenten I
• 16.06.2021: Theory: Supervised Learning basierte Sprachagenten II
• 23.06.2021: Theory: Reinforcement Learning basierte Sprachagenten I
• 30.06.2021: Theory: Reinforcement Learning basierte Sprachagenten II
• 07.07.2021: Theory: Reinforcement Learning basierte Sprachagenten III
• 14.07.2021: Theory: Code Review, Debugging, Fragen und Probleme

Date	Presenter	Paper	H1	H2	H3	H4
05.05.2021						-
12.05.2021						-
19.05.2021	Felix	Depression Detection on Social Media with Reinforcement Learning	[x]	[x]		-
26.05.2021	Harry	Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation	[x]	[x]	[x]	-
26.05.2021	Daniel	Sentiment Analysis for Reinforcement Learning	[x]	[x]		-
26.05.2021	Anne	Reinforcement-Learning Based Portfolio Management with Augmented Asset Movement Prediction States	[x]	[x]		-
02.06.2021	Jovanka	Reinforcement learning of minimalist grammars	[x]	[x]	[x]	-
02.06.2021	Toni	Reinforcement Learning for Relation Classification from Noisy Data	[x]	[x]		-
02.06.2021	Julia	Reinforced Extractive Summarization with Question-Focused Rewards	[x]	[x]		-
9.06.2021	Judith	Ranking Sentences for Extractive Summarization with Reinforcement Learning	[x]	[x]	[x]	-
16.06.2021	Bianca	Grounding Natural Language Commands to StarCraft II Game States for Narration-Guided Reinforcement Learning	[x]	[x]		-
23.06.2021	Nazia	Generating Visual Explanations	[x]	[x]		-
30.06.2021	Jonas	Using Natural Language for Reward Shaping in Reinforcement Learning	[x]	[x]		-
14.07.2021	Florian	Human-level performance in first-person multiplayer games with population-based deep reinforcement learning	[x]	[x]		-

Ablauf einer Seminar-Veranstaltung

Eine einzelne Seminar-Veranstaltung besteht aus drei Teilen:

A) Discussion: 30 Minuten Präsentation und Diskussion aktueller Paper aus dem Bereich Machine Learning, Natural Language Processing (NLP) und Reinforcement Learning (RL)

B) Theory: 30 Minuten Theory Walkthrough durch Konzepte des Reinforcement Learning in der Sprachtechnologie

C) Practice: 30 Minuten Live Coding und Implementierung der besprochenen Inhalte in Python mittels Jupyter Notebooks.

WICHTIG: Sowohl für die Präsentation der Paper als auch für Theorie und Coding werden die Programmiersprache Python in Kombination mit Jupyter Notebooks verwendet.

WICHTIG: Paper Präsentationen bitte bis Montag 12.00 AM/midnight an ----- senden, weil dann alle Teilnehmer rechtzeitig den Code für die folgende Veranstaltung erhalten.

• Template: Nutzt am besten das Jupyter Notebook der ersten Veranstaltung als Vorlage und sendet mir dieses mit folgender Benamung:
• Filename: DATUM_PRESENTER z.b. 2021_04_21_Henrik_Voigt.ipynb
• Optional: Sendet mir euer annotiertes Paper ebenfalls per Mail zu (Infos folgen), Filename: DATUM_PRESENTER_PAPERNAME_annotated.pdf

Materialien

WICHTIG: Wir nutzen für dieses Modul EIN zentrales Repository für die Verwaltung aller Kursaufzeichnungen/Notebooks, Termine und Materialen, das heißt DIESES Repository ist der einzige Link, den ihr euch für die Veranstaltung merken/speichern müsst.

• Kursrepository

• Alternativ: Der Kursordner wird auf unserer Website (https://clause-bielefeld.github.io/teaching) unter /teaching veröffentlicht, sodass ihr ihn da herunterladen könnt

• Jupyter Notebooks: werden nach jeder Veranstaltung im Kursrepository im Ordner /course veröffentlicht

• Annotierte Paper: werden nach jeder Veranstaltung im Kursrepository im Ordner /materials veröffentlicht

• Literaturrecherche:

• -- https://www.semanticscholar.org/ !!!

• -- http://www.arxiv-sanity.com/

• -- https://scholar.google.de/

• -- https://www.paperswithcode.com

• -- https://www.aclweb.org/anthology/

• Themeninspiration:

• -- Yannic Kilcher (https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew)

• -- Henri AI Labs (https://www.youtube.com/channel/UCHB9VepY6kYvZjj0Bgxnpbw)

• -- Two Minute Papers (https://www.youtube.com/user/keeroyz)

• Suggestions: Som ideas for interesting papers to discuss ...

• Overview Survey Paper

• Introduction Paper

• Tutorial Paper

• Algorithms for RL Paper

• Deep RL Paper

• RL and NLP Paper

• RL and NLP Paper II

Fragen

• WICHTIG: immer direkt per AUDIO im Zoom Call Fragen stellen! Diskussionen sind ausdrücklich erwünscht!
• ALTERNATIV: Fragen im Chat posten
• WICHTIG: hier findet ihr unsere Terminumfrage für die Paper Präsentationen https://terminplaner4.dfn.de/XP1MLFhVyz1eA44a

---