эйай ньюз

​Про поставки запрещенных чипов Nvidia в Китай - продолжение [предыдущая часть]

Даже урезанные A800, H800 чипы, про которые я писал в предыдущем посте, были также запрещены для поставок в Китай еще в октябре 2023. Кроме того, давно под запретом A100, H100, L40, L40S и RTX 4090.

Но Папу Хуанга не проведешь! Он подсуетился и выпустил новую линейку урезанных чипов H20, L20 и L2, которые на тоненького проходят по границе экспортных регуляций для Китая.

В этом году Куртка планирует поставить в Китай 1 млн чипов H20, что принесет компании $12 млрд.

H20 vs H100.
Чип H20 – это урезанная версия H100 с 6.68x меньше номинальных TFlops в int8, но с более быстрой памятью (4 TB/s против 3.25 TB/s у H100). Поэтому инференс LLM на H20 получается даже на 20% быстрее, чем на H100, если гонять модель целиком на одной видеокарте (LLaMa3 70B в int8 целиком влезает в одну). Однако распределенная тренировка больших моделей, где также важна скорость коммуникации между чипами, по оценкам будет на 50% медленнее, чем на H100.

H20 vs Huawei Ascend 910B.
Каждый чип H20 стоит от $12000 до $13000, цену специально подобрали так, чтобы она была примерно как у их главного китайского конкурента - Huawei Ascend 910B, который по номинальным TFLOPS в спеке вроде на 10% лучше, чем H20, но на практике не дотягивает. Сказывается и скорость памяти (в 4.5 раз медленнее), и ее объем (64 GB vs 96 GB), и скорость интерконнекта (2x ниже), и отсутствие такого крутого программного стека (CUDA), как у Nvidia.

Сейчас доля NVIDIA потихоньку сжимается, да и Китай мотивирует свои компании меньше покупать у Nvidia, а больше брать отечественного. Но даже в этом году на 1 млн H20 от Хуанга в Китае продано только 500 тыс. чипов Huawei Ascend 910B. Например, по слухам, Tencent строит несколько новых кластеров на чипах H20, самый крупный из которых будет иметь > 60 тыс. H20.

До всех запретов чипы Nvidia занимали 90% рынка AI-чипов в Китае. Но китайцы все равно тащат A100 и H100 и прочие запрещенные карточки контрабандой через Индию, Малайзию, Тайвань, Гонконг и Сингапур. Цены на них, конечно, взлетели в разы.

Разворачивается прямо жестокая борьба между регуляторами США и Nvidia, стремящейся не упустить лакомый кусок рынка в Китае любой ценой.

@ai_newz

www.group-telegram.com/jp/ai_newz.com/2976

20.5K viewsedited  Jul 9, 2024 at 11:10

​Про поставки запрещенных чипов Nvidia в Китай - продолжение [предыдущая часть]

Даже урезанные A800, H800 чипы, про которые я писал в предыдущем посте, были также запрещены для поставок в Китай еще в октябре 2023. Кроме того, давно под запретом A100, H100, L40, L40S и RTX 4090.

Но Папу Хуанга не проведешь! Он подсуетился и выпустил новую линейку урезанных чипов H20, L20 и L2, которые на тоненького проходят по границе экспортных регуляций для Китая.

В этом году Куртка планирует поставить в Китай 1 млн чипов H20, что принесет компании $12 млрд.

H20 vs H100.
Чип H20 – это урезанная версия H100 с 6.68x меньше номинальных TFlops в int8, но с более быстрой памятью (4 TB/s против 3.25 TB/s у H100). Поэтому инференс LLM на H20 получается даже на 20% быстрее, чем на H100, если гонять модель целиком на одной видеокарте (LLaMa3 70B в int8 целиком влезает в одну). Однако распределенная тренировка больших моделей, где также важна скорость коммуникации между чипами, по оценкам будет на 50% медленнее, чем на H100.

H20 vs Huawei Ascend 910B.
Каждый чип H20 стоит от $12000 до $13000, цену специально подобрали так, чтобы она была примерно как у их главного китайского конкурента - Huawei Ascend 910B, который по номинальным TFLOPS в спеке вроде на 10% лучше, чем H20, но на практике не дотягивает. Сказывается и скорость памяти (в 4.5 раз медленнее), и ее объем (64 GB vs 96 GB), и скорость интерконнекта (2x ниже), и отсутствие такого крутого программного стека (CUDA), как у Nvidia.

Сейчас доля NVIDIA потихоньку сжимается, да и Китай мотивирует свои компании меньше покупать у Nvidia, а больше брать отечественного. Но даже в этом году на 1 млн H20 от Хуанга в Китае продано только 500 тыс. чипов Huawei Ascend 910B. Например, по слухам, Tencent строит несколько новых кластеров на чипах H20, самый крупный из которых будет иметь > 60 тыс. H20.

До всех запретов чипы Nvidia занимали 90% рынка AI-чипов в Китае. Но китайцы все равно тащат A100 и H100 и прочие запрещенные карточки контрабандой через Индию, Малайзию, Тайвань, Гонконг и Сингапур. Цены на них, конечно, взлетели в разы.

Разворачивается прямо жестокая борьба между регуляторами США и Nvidia, стремящейся не упустить лакомый кусок рынка в Китае любой ценой.

@ai_newz

BY эйай ньюз