Memory in Plain Sight. A Survey of the Uncanny Resemblances between Diffusion Models and Associative Memories (NeurIPS 2023 Workshop)
Еще немного про ассоциативную память (AM). Диффузии - это модели с ассоциативной памятью. Т.к диффузия моделирует score функцию, то она является AM моделью, которая неявно учит функцию энергии через ее градиент. Обе модели реконструируют данные из какого-то испорченного сигнала, следуя градиенту энергии. Плюсом показывают, что probability flow ODE можно легко сформулировать, как AM модель с переменной, зависящий от времени с дисперсией шума. В общем, столько сходств на лицо 🥸
Есть еще интересный пункт. Рассуждают на тему точек-аттракторов в диффузиях. Нет гарантий, что они есть, но диффузии ограничены временем [0, T], это означает, что конечная точка является позицией, где мы можем достать воспоминания модели, а это схоже с AM, но где у нас есть гарантия на стабильность динамики. Поэтому все-таки аттракторы могут быть
Memory in Plain Sight. A Survey of the Uncanny Resemblances between Diffusion Models and Associative Memories (NeurIPS 2023 Workshop)
Еще немного про ассоциативную память (AM). Диффузии - это модели с ассоциативной памятью. Т.к диффузия моделирует score функцию, то она является AM моделью, которая неявно учит функцию энергии через ее градиент. Обе модели реконструируют данные из какого-то испорченного сигнала, следуя градиенту энергии. Плюсом показывают, что probability flow ODE можно легко сформулировать, как AM модель с переменной, зависящий от времени с дисперсией шума. В общем, столько сходств на лицо 🥸
Есть еще интересный пункт. Рассуждают на тему точек-аттракторов в диффузиях. Нет гарантий, что они есть, но диффузии ограничены временем [0, T], это означает, что конечная точка является позицией, где мы можем достать воспоминания модели, а это схоже с AM, но где у нас есть гарантия на стабильность динамики. Поэтому все-таки аттракторы могут быть
"There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." The Security Service of Ukraine said in a tweet that it was able to effectively target Russian convoys near Kyiv because of messages sent to an official Telegram bot account called "STOP Russian War." DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. Apparently upbeat developments in Russia's discussions with Ukraine helped at least temporarily send investors back into risk assets. Russian President Vladimir Putin said during a meeting with his Belarusian counterpart Alexander Lukashenko that there were "certain positive developments" occurring in the talks with Ukraine, according to a transcript of their meeting. Putin added that discussions were happening "almost on a daily basis."
from ru
