roguelike theory

"Каждый раз, когда я увольняю лингвиста, эффективность модели распознавания речи растёт", говорил один из пионеров NLP. Это ранний пример того, что сейчас часто называют "горьким уроком" – наблюдения, что ML-моделям очень мало помогает какое-то специфическое знание о предметной области, но рост величины самой модели, и количества данных для ее тренировки, позволяют увеличивать ее эффективность – и предела такого роста пока еще не видно.

Я не думаю, что этот "урок" полностью отвергает обычную лингвистику как науку. Обратная сторона "горького урока" в том, что ML-модели, в свою очередь, мало рассказывают нам про язык как таковой. Что мы узнали про язык из LLM, помимо очень важного, конечно, но (пока еще?) не очень содержательного результата о том, что такая модель в принципе может существовать, и обладать тем, что со стороны выглядит разнообразными "мыслительными способностями"? Поэтому эти две области, скорее, просто разделяются: лингвисты рассказывают про язык нам, ML-инженеры моделируют его на компьютере, хитроумно подгоняя сложные кривые под обилие данных – общение между ними, скорее, напряженное. Лингвистика может помочь найти и объяснить какие-то странные, упущенные инженерами случаи, покритиковать их достижения, но едва ли – помочь построить саму модель; инженеры удивляют нас своими изобретениями, но мир от них становится только непонятнее.

Вот, скажем, пост про труды Канемана, очень ему симпатизирующий, как и многие комментарии к моему вчерашнему посту. Чем он занимался? На современном языке это что-то вроде "подгонки кривой функции полезности"... Пост намекает на то, что его труды как-то ответили на предположение о максимизации ожидаемой полезности: но это разве так? Экономика продолжается пользоваться этой "аксиомой", каждый раз, конечно, со звездочкой – не потому, что она верна, а потому, что без неё изучать было бы особенно нечего. Конечно, люди не рациональны и полезность не максимизируют, но этот подход создает возможность определенного вида человеческой взаимодействия, экономическое сосуществование, а с ним и любую осмысленную политику, с ним связанную. Точно так же люди делают речевые ошибки, пишут экспериментальные стихи и т.д., но это не опровергает возможность общаться на общем, довольно-таки жёстко удерживаемом правилами языке. Так что как именно Канеман повлиял на экономику? Есть ли какие-нибудь интересные примеры экономических моделей, не построенных фундаментально на максимизации полезности?

Горечь горького урока указывает на то, насколько построение хитроумной статистической модели считается в наше время парадигмой знания, хотя эти модели, скорее, про эффективное незнание. Это круто, когда наука и сложные статистические модели сосуществуют, но когда второе выдается за первое, т.е. слепое моделирование предметной области – за науку о ней, это становится разрушительно для науки, уничтожая/мешая развивать ее фундаментальные понятия, ну и хотя бы просто ставя условных лингвистов под угрозу увольнения. Как именно проходит эта граница, между настоящей "наукой" и просто "моделированием предметной области"? Я думаю, что в этом – главный эпистемологический и эпистемо-политический вопрос 21 века.

www.group-telegram.com/us/roguelike_theory.com/668

3.9K viewsedited  Mar 29, 2024 at 12:53

"Каждый раз, когда я увольняю лингвиста, эффективность модели распознавания речи растёт", говорил один из пионеров NLP. Это ранний пример того, что сейчас часто называют "горьким уроком" – наблюдения, что ML-моделям очень мало помогает какое-то специфическое знание о предметной области, но рост величины самой модели, и количества данных для ее тренировки, позволяют увеличивать ее эффективность – и предела такого роста пока еще не видно.

Я не думаю, что этот "урок" полностью отвергает обычную лингвистику как науку. Обратная сторона "горького урока" в том, что ML-модели, в свою очередь, мало рассказывают нам про язык как таковой. Что мы узнали про язык из LLM, помимо очень важного, конечно, но (пока еще?) не очень содержательного результата о том, что такая модель в принципе может существовать, и обладать тем, что со стороны выглядит разнообразными "мыслительными способностями"? Поэтому эти две области, скорее, просто разделяются: лингвисты рассказывают про язык нам, ML-инженеры моделируют его на компьютере, хитроумно подгоняя сложные кривые под обилие данных – общение между ними, скорее, напряженное. Лингвистика может помочь найти и объяснить какие-то странные, упущенные инженерами случаи, покритиковать их достижения, но едва ли – помочь построить саму модель; инженеры удивляют нас своими изобретениями, но мир от них становится только непонятнее.

Вот, скажем, пост про труды Канемана, очень ему симпатизирующий, как и многие комментарии к моему вчерашнему посту. Чем он занимался? На современном языке это что-то вроде "подгонки кривой функции полезности"... Пост намекает на то, что его труды как-то ответили на предположение о максимизации ожидаемой полезности: но это разве так? Экономика продолжается пользоваться этой "аксиомой", каждый раз, конечно, со звездочкой – не потому, что она верна, а потому, что без неё изучать было бы особенно нечего. Конечно, люди не рациональны и полезность не максимизируют, но этот подход создает возможность определенного вида человеческой взаимодействия, экономическое сосуществование, а с ним и любую осмысленную политику, с ним связанную. Точно так же люди делают речевые ошибки, пишут экспериментальные стихи и т.д., но это не опровергает возможность общаться на общем, довольно-таки жёстко удерживаемом правилами языке. Так что как именно Канеман повлиял на экономику? Есть ли какие-нибудь интересные примеры экономических моделей, не построенных фундаментально на максимизации полезности?

Горечь горького урока указывает на то, насколько построение хитроумной статистической модели считается в наше время парадигмой знания, хотя эти модели, скорее, про эффективное незнание. Это круто, когда наука и сложные статистические модели сосуществуют, но когда второе выдается за первое, т.е. слепое моделирование предметной области – за науку о ней, это становится разрушительно для науки, уничтожая/мешая развивать ее фундаментальные понятия, ну и хотя бы просто ставя условных лингвистов под угрозу увольнения. Как именно проходит эта граница, между настоящей "наукой" и просто "моделированием предметной области"? Я думаю, что в этом – главный эпистемологический и эпистемо-политический вопрос 21 века.

BY roguelike theory