Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать
Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать
BY adapt compete evolve or die
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Telegram has gained a reputation as the “secure” communications app in the post-Soviet states, but whenever you make choices about your digital security, it’s important to start by asking yourself, “What exactly am I securing? And who am I securing it from?” These questions should inform your decisions about whether you are using the right tool or platform for your digital security needs. Telegram is certainly not the most secure messaging app on the market right now. Its security model requires users to place a great deal of trust in Telegram’s ability to protect user data. For some users, this may be good enough for now. For others, it may be wiser to move to a different platform for certain kinds of high-risk communications. The perpetrators use various names to carry out the investment scams. They may also impersonate or clone licensed capital market intermediaries by using the names, logos, credentials, websites and other details of the legitimate entities to promote the illegal schemes. Telegram does offer end-to-end encrypted communications through Secret Chats, but this is not the default setting. Standard conversations use the MTProto method, enabling server-client encryption but with them stored on the server for ease-of-access. This makes using Telegram across multiple devices simple, but also means that the regular Telegram chats you’re having with folks are not as secure as you may believe. He adds: "Telegram has become my primary news source." "He has kind of an old-school cyber-libertarian world view where technology is there to set you free," Maréchal said.
from us
