эйай ньюз

Восемь вот таких вот малышей "Sohu" может заменить 160xH100 - мощная заявка 🔫. Интересно что будте по цене?

Однако фишка в том, что Sohu поддерживает только трансформеры, и только их инференс. То есть мы жертвуем универсальностью (как у GPU от NVIDIA) в пользу сткорости очень узкой группы операций, которые нужны для инференса трансформеров.

После начала массового производства Sohu будет такая ситуёвина: чтобы создать принципиально новую архитектуру, которая потенциально может заменить трансформеры в проде, нужно будет показать что новая архитектура работает на универсальных GPU быстрее чем трансформеры на специальном железе вроде Sohu. Либо нужно будет закладывать дополнительные ресурсы на новые специализированные чипы для новой архитектуры. Короче, это будет гораздо трудно осуществить, и мы можем на какое-то время оказатсья в локальном минимуме с нашими трансформерами [мысли с дивана].

@ai_newz

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/ye/ai_newz.com/2917

18.0K viewsedited  Jun 25, 2024 at 21:24

Восемь вот таких вот малышей "Sohu" может заменить 160xH100 - мощная заявка 🔫. Интересно что будте по цене?

Однако фишка в том, что Sohu поддерживает только трансформеры, и только их инференс. То есть мы жертвуем универсальностью (как у GPU от NVIDIA) в пользу сткорости очень узкой группы операций, которые нужны для инференса трансформеров.

После начала массового производства Sohu будет такая ситуёвина: чтобы создать принципиально новую архитектуру, которая потенциально может заменить трансформеры в проде, нужно будет показать что новая архитектура работает на универсальных GPU быстрее чем трансформеры на специальном железе вроде Sohu. Либо нужно будет закладывать дополнительные ресурсы на новые специализированные чипы для новой архитектуры. Короче, это будет гораздо трудно осуществить, и мы можем на какое-то время оказатсья в локальном минимуме с нашими трансформерами [мысли с дивана].

@ai_newz