Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать
Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать
BY adapt compete evolve or die
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Right now the digital security needs of Russians and Ukrainians are very different, and they lead to very different caveats about how to mitigate the risks associated with using Telegram. For Ukrainians in Ukraine, whose physical safety is at risk because they are in a war zone, digital security is probably not their highest priority. They may value access to news and communication with their loved ones over making sure that all of their communications are encrypted in such a manner that they are indecipherable to Telegram, its employees, or governments with court orders. For tech stocks, “the main thing is yields,” Essaye said. Official government accounts have also spread fake fact checks. An official Twitter account for the Russia diplomatic mission in Geneva shared a fake debunking video claiming without evidence that "Western and Ukrainian media are creating thousands of fake news on Russia every day." The video, which has amassed almost 30,000 views, offered a "how-to" spot misinformation. The Russian invasion of Ukraine has been a driving force in markets for the past few weeks. "There is a significant risk of insider threat or hacking of Telegram systems that could expose all of these chats to the Russian government," said Eva Galperin with the Electronic Frontier Foundation, which has called for Telegram to improve its privacy practices.
from no
