group-telegram.com/ai_newz/2917
Last Update:
Восемь вот таких вот малышей "Sohu" может заменить 160xH100 - мощная заявка
Однако фишка в том, что Sohu поддерживает только трансформеры, и только их инференс. То есть мы жертвуем универсальностью (как у GPU от NVIDIA) в пользу сткорости очень узкой группы операций, которые нужны для инференса трансформеров.
После начала массового производства Sohu будет такая ситуёвина: чтобы создать принципиально новую архитектуру, которая потенциально может заменить трансформеры в проде, нужно будет показать что новая архитектура работает на универсальных GPU быстрее чем трансформеры на специальном железе вроде Sohu. Либо нужно будет закладывать дополнительные ресурсы на новые специализированные чипы для новой архитектуры. Короче, это будет гораздо трудно осуществить, и мы можем на какое-то время оказатсья в локальном минимуме с нашими трансформерами [мысли с дивана].
@ai_newz
