From imaging algorithms to quantum methods Seminar

Omówienie modelu językowego BERT (Bidirectional Encoder Representations from Transformers) i jego podstawowych zastosowań - Część 2

14 Jul 2025, 10:00

1h

https://cern.zoom.us/j/66151941204?pwd=n7upvvZYibexBhbtyn5kvTpy36L0Wo.1 (Zoom)

Speaker

Krzysztof Nawrocki (NCBJ)

Description

Podczas spotkania zostanie omówiony model językowy BERT, który w odróżnieniu modeli typu 'decoder-only' takich jak ChatGPT, Llama czy DeepSeek, opiera się na architekturze typu 'encoder-only'. To oznacza, że nie jest on co prawda tak skuteczny w generowaniu treści jak powyższe, ale za to znakomicie nadaje się do zadań wymagających głębokiego
zrozumienia analizowanego tekstu w oparciu o kontekst, takich jak klasyfikacja tekstu, wyszukiwanie semantyczne lub systemy
rekomendacyjne. Przedstawione zostanie praktyczne zastosowanie modelu BERT do klasyfikacji tekstu.