Warsztaty z transfer learningu w NLP (EuroCC)
Monday, 27 September 2021 -
10:00
Monday, 27 September 2021
10:00
Wprowadzenie
-
Pawel Przewlocki
(
NCBJ
)
Wprowadzenie
Pawel Przewlocki
(
NCBJ
)
10:00 - 10:20
10:20
Ćwiczenia z tokenizacji
-
Pawel Przewlocki
(
NCBJ
)
Ćwiczenia z tokenizacji
Pawel Przewlocki
(
NCBJ
)
10:20 - 10:50
Notatnik: using-tokenizer.ipynb Modele: Roberta (polska i angielska), BERT, itp. • podstawy działania Google Collab, ładowanie bibliotek, ściąganie modeli • ładowanie modeli tokenizacji • rozumienie outputu tokenizatorów • porównanie działania różnych modeli
10:50
Ładowanie i używanie modeli
-
Pawel Przewlocki
(
NCBJ
)
Ładowanie i używanie modeli
Pawel Przewlocki
(
NCBJ
)
10:50 - 11:20
Notatnik: using-models.ipynb Modele: BERT, polska Roberta • inicjalizacja modeli • używanie modeli do predykcji wybranych słów • używanie modeli do weryfikacji, czy zdania są ze sobą powiązane
11:20
Przerwa
Przerwa
11:20 - 11:40
11:40
Klasyfikacja zdań za pomocą douczonego wcześniej modelu
-
Pawel Przewlocki
(
NCBJ
)
Klasyfikacja zdań za pomocą douczonego wcześniej modelu
Pawel Przewlocki
(
NCBJ
)
11:40 - 13:10
Notatnik: polish-Roberta-classification-simp.ipynb Model: polska Roberta Korpus: https://clarin-pl.eu/dspace/handle/11321/700 • przetwarzanie zbioru danych do użycia przy douczaniu modelu • douczanie modelu, aby rozpoznawał nastawienie emocjonalne zdań z recenzji internetowych • obliczanie miar skuteczności selekcji pozytywnych recenzji Możliwe zadania dodatkowe: obserwacja zależności wyników od parametrów uczenia, wielkości zbioru uczącego, itd; próba nauczenia modelu na całych akapitach tekstu