Днес Google обяви пускането на новия си модел за големи езици Gemini. Заедно с него компанията представи и новия си ускорител на изкуствен интелект Cloud TPU v5e (Tensor processing unit). Клъстерът, базиран на новите TPU, се състои от 8960 чипа v5p и е оборудван с най-бързата междусистемна връзка на Google - скоростта на трансфер на данни може да достигне 4800 Gbps на чип.

Облачният TPU v5e е оборудван с 95 GB памет HBM3 с пропускателна способност 2765 Gbytes/s. Производителността при операции с цели числа INT8 е 918 TOPS (трилиона операции в секунда), а производителността при изчисления с плаваща запетая BF16 е 459 Tflops.

Google твърди, че новите чипове са значително по-бързи от предишното поколение TPU v4 образец. Новият Cloud TPU v5p ще предлага два пъти по-висока производителност при операции с плаваща запетая (FLOPS) и три пъти по-голям капацитет на паметта с висока пропускателна способност.

Според Google новите ускорители TPU v5p могат да обучават големи езикови модели, като GPT-3 със 175 милиарда параметъра, 2,8 пъти по-бързо от TPU v4, като същевременно използват по-малко енергия. Освен това, благодарение на второто поколение SparseCore, TPU v5p може да обучава модели с плътно вграждане 1,9 пъти по-бързо от TPU v4. В допълнение към подобренията в производителността TPU v5p осигурява два пъти по-голяма мащабируемост от TPU v4, което в комбинация с удвоената производителност осигурява четири пъти повече флопове на клъстер.

Интересно е, че по отношение на производителността за един долар TPU v5p леко отстъпва на наскоро представените ускорители TPU v5e. Последните обаче могат да се клъстерират само до 256 чипа, а един чип ще осигури само 197 Tflops в BF16 спрямо 275 Tflops в TPU v4 и 459 Tflops в TPU v5p.

"В ранния етап на използване Google DeepMind и Google Research демонстрираха два пъти по-голямо ускорение на LLM тренировъчни натоварвания, базирани на чипове TPU v5p, в сравнение с производителността, свалена от сегашното поколение чипове TPU v4", пише Джеф Дийн, главен учен в Google DeepMind и Google Research. - Широката поддръжка на ML рамки като JAX, PyTorch, TensorFlow и инструменти за оркестрация ще ни позволи да мащабираме още по-ефективно, използвайки чипове v5p. С второто поколение SparseCore наблюдаваме и значителни подобрения в производителността на работните натоварвания при извършване на вграждания. TPU са от жизненоважно значение за осигуряването на възможност за най-мащабните ни изследователски и инженерни натоварвания върху усъвършенствани модели като Gemini."