adapt compete evolve or die | Telegram Webview: abacabadabacaba404/61 -

Telegram Group & Telegram Channel

adapt compete evolve or die

Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать

www.group-telegram.com/us/abacabadabacaba404.com/61

941 viewsedited Oct 27, 2024 at 16:12

group-telegram.com/abacabadabacaba404/61

Create: 2024-10-27
Last Update: 2025-02-25 23:40:34

Из теории я знаю, что автоэнкодер с линейным декодером - DL-аналог для PCA. model.decoder.state_dict()['0.weight'].t() в pytorch просто визуализирует эти компоненты. Но чтобы стал полным аналогом, надо в лосс добавлять компонент на ортогональность, после чего начитается вечная алхимия с композитным лоссом - как подбирать веса между основным и дополнительным. И часто сходимости от этого сложно добиться. Читал как-то про почти оротогональные эмбеды в многомерных пространствах, которые помогают запоминать LLMкам болше концепций, чем есть размерности пространства эмбедов, и решил, что если сильно сгладить Huber'ом условие ортогональности до почти-ортогональности (то есть мы совсем не штрафуем за углы близкие к 90), то должно получиться с меньшим количеством алхимии. Вроде действительно работает и компоненты получаются более независимыми. Но надо еще подумать

BY adapt compete evolve or die

Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/abacabadabacaba404/61

Open in Telegram

Telegram | DID YOU KNOW?

Date: 2025-02-25|

Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. In a statement, the regulator said the search and seizure operation was carried out against seven individuals and one corporate entity at multiple locations in Ahmedabad and Bhavnagar in Gujarat, Neemuch in Madhya Pradesh, Delhi, and Mumbai. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers. However, the perpetrators of such frauds are now adopting new methods and technologies to defraud the investors. But the Ukraine Crisis Media Center's Tsekhanovska points out that communications are often down in zones most affected by the war, making this sort of cross-referencing a luxury many cannot afford.
from us

Telegram adapt compete evolve or die
FROM American