Porting Gemma-4 (2B / 4B / 12B) to AWS Inferentia2

A field report on running Google's Gemma-4 on AWS Inferentia2: mixed attention heads, the vLLM / optimum-neuron / NxD dead-ends, and the neuronx-cc compiler limits.

Inglês

Abrir conteúdo

Já usou este conteúdo?

Seja a primeira pessoa a avaliar — a nota entra no ranking da busca.

Fonte: DEV.to
Endereço: https://dev.to/gde/porting-gemma-4-2b-4b-12b-to-aws-inferentia2-2jnf
Autoria: xbill
Tecnologias: Inteligência Artificial
Curadoria: Revisado pela equipe do DevEducation

O DevEducation não hospeda este conteúdo. Todo o material pertence a xbill e é acessado diretamente em dev.to.

Conteúdos relacionados

Documentação·scikit-learn.orgRevisado pela curadoria do DevEducation

scikit-learn — User Guide

Guia da principal biblioteca de machine learning clássico em Python, com teoria e exemplos por algoritmo.

IntermediárioInglêsreferênciascikit-learnmodelosDetalhes

Documentação·github.comRevisado pela curadoria do DevEducation

GoogleCloudPlatform/asl-ml-immersion

Notebooks, code samples and reference for machine learning and generative ai on Google Cloud for the Advanced Solutions Lab (ASL) bootcamps.

AvançadoInglêsDetalhes

Repositório·github.comRevisado pela curadoria do DevEducation

harvard-edge/cs249r_book

Machine Learning Systems

InglêsDetalhes

Repositório·github.comRevisado pela curadoria do DevEducation

stefan-jansen/machine-learning-for-trading

Code for Machine Learning for Trading, 3rd edition — from data sourcing to live execution.

InglêsDetalhes