NLP Master

Часть Шестая. Нейросети.

Я как работала? Сделаю модель, она 2-3 часа обучается, а то и больше, бывало. И в это время я была предоставлена сама себе. К тому же никто особенно не контролировал, сколько времени у меня уходит на обработку данных и на сборку моделей. То есть на работе у меня было свободное время на то, чтобы пить кофе, делать упражнения по программированию, писать магистерскую и тому подобное.

У меня не было какого-то определенного плана, мне было просто интересно, и я пробовала разные питоновские библиотеки. Список необходимых библиотек я составила по тому, что мы изучали в магистратуре, и тому, что требовали в вакансиях на Линкедине. Это были NLTK, Gensim, Spacy, Sklearn, PyMorphy (для русского). Я научилась делать:

- базовые модели для кластеризации и для тематического моделирования (на примере своего твиттера);

- обработку текста: лемматизация, нормализация и так далее;

- разметку частей речи и именованных сущностей в большом количестве текстов.

И под конец магистратуры подошла очередь нейросетей. Они мне не давали покоя с самого начала. И еще мой молодой человек постоянно напоминал, что мне нужно браться за них, если я хочу заниматься NLP по-настоящему.

Во втором семестре (за год до периода, который я здесь описываю) я вольным слушателем ходила на курс по нейросетям. Когда на первой лекции преподаватель начал говорить об основах линейной алгебры, которую мы должны были помнить со школы, я поняла, что, во-первых, ничего не помню, кроме названий, а во-вторых, в испанских старших классах изучают алгебру, которая у нас дается на первом курсе технических вузов. Например, мы не изучаем матрицы в школе, а испанцы изучают. Я честно сходила на все теоретические лекции, и теория казалась довольно понятной, а вот практика была для меня сложной. Я потом поняла почему. В том курсе все упражнения были на Tensorflow. А он легко может напугать неподготовленного человека.

Краткую теорию нейросетей нам давали и на курсе по обработки речи, и на курсе по компьютерной семантике. И также я начала смотреть разные видео и лекции, чтобы как-то структурировать всю информацию в голове. В общем, хваталась за все понемногу.

Хороший курс по нейросетям, где очень доступно объясняются основные идеи:

https://classroom.udacity.com/courses/ud730

К концу 2018 году нейросети уже захватили мир NLP, поэтому начали появляться фреймворки разной степени сложности. Так, Родриго мне показал FLAIR (разработки Zalando), и я поразилась, как там все было удобно и понятно сделано. С помощью этого простого фреймворка я натренировала нейросетей для своей магистерской, и меня уже было не остановить. В ход пошли туториалы по Pytorch и Keras. При этом, естественно, мне не везде было понятно, что там происходит внутри. Но я все равно брала какой-то код, подставляла туда свои тексты, и смотрела, что получится. Тем более что PyTorch и Keras сделаны по-человечески и понятны практически с самого начала.

www.group-telegram.com/us/about_nlp.com/127

604 viewsedited  Jun 13, 2022 at 14:03

Часть Шестая. Нейросети.

Я как работала? Сделаю модель, она 2-3 часа обучается, а то и больше, бывало. И в это время я была предоставлена сама себе. К тому же никто особенно не контролировал, сколько времени у меня уходит на обработку данных и на сборку моделей. То есть на работе у меня было свободное время на то, чтобы пить кофе, делать упражнения по программированию, писать магистерскую и тому подобное.

У меня не было какого-то определенного плана, мне было просто интересно, и я пробовала разные питоновские библиотеки. Список необходимых библиотек я составила по тому, что мы изучали в магистратуре, и тому, что требовали в вакансиях на Линкедине. Это были NLTK, Gensim, Spacy, Sklearn, PyMorphy (для русского). Я научилась делать:

- базовые модели для кластеризации и для тематического моделирования (на примере своего твиттера);

- обработку текста: лемматизация, нормализация и так далее;

- разметку частей речи и именованных сущностей в большом количестве текстов.

И под конец магистратуры подошла очередь нейросетей. Они мне не давали покоя с самого начала. И еще мой молодой человек постоянно напоминал, что мне нужно браться за них, если я хочу заниматься NLP по-настоящему.

Во втором семестре (за год до периода, который я здесь описываю) я вольным слушателем ходила на курс по нейросетям. Когда на первой лекции преподаватель начал говорить об основах линейной алгебры, которую мы должны были помнить со школы, я поняла, что, во-первых, ничего не помню, кроме названий, а во-вторых, в испанских старших классах изучают алгебру, которая у нас дается на первом курсе технических вузов. Например, мы не изучаем матрицы в школе, а испанцы изучают. Я честно сходила на все теоретические лекции, и теория казалась довольно понятной, а вот практика была для меня сложной. Я потом поняла почему. В том курсе все упражнения были на Tensorflow. А он легко может напугать неподготовленного человека.

Краткую теорию нейросетей нам давали и на курсе по обработки речи, и на курсе по компьютерной семантике. И также я начала смотреть разные видео и лекции, чтобы как-то структурировать всю информацию в голове. В общем, хваталась за все понемногу.

Хороший курс по нейросетям, где очень доступно объясняются основные идеи:

https://classroom.udacity.com/courses/ud730

К концу 2018 году нейросети уже захватили мир NLP, поэтому начали появляться фреймворки разной степени сложности. Так, Родриго мне показал FLAIR (разработки Zalando), и я поразилась, как там все было удобно и понятно сделано. С помощью этого простого фреймворка я натренировала нейросетей для своей магистерской, и меня уже было не остановить. В ход пошли туториалы по Pytorch и Keras. При этом, естественно, мне не везде было понятно, что там происходит внутри. Но я все равно брала какой-то код, подставляла туда свои тексты, и смотрела, что получится. Тем более что PyTorch и Keras сделаны по-человечески и понятны практически с самого начала.

BY NLP Master