Ответ на пост «Российский ИИ-чип для роботов и умных систем создали в Москве»
Вы осетра то урежьте…
NVIDIA RTX A6000 (48 ГБ): В режиме тензорных вычислений TF32 дает около 38,7 TFLOPS. Стоимость её более 500 000 руб.
При запуске модели на 7B параметров показывает скорость примерно 50 токенов/сек, где 1 токен равен примерно 4 английским словам или 1 слову на русском. О каких «одновременно запускать до пяти нейросетей» идет речь?
«с задержкой 1,5–2,3 миллисекунды» - опять аналогвнет? Задержка первого токена (TTFT): Для модели Llama-2-7B на A6000 на запросе в 1024 токена составляет около ~900 мс.
Карта имеет потребление порядка 300Вт, у нас же 40. По классике «Число π в военное время может достигать четырёх».
Ну и главный вопрос: A6000 клепают по 8нм ТП. Микрон располагает 180нм. Так что из этой новости сделаноунас?

