Seleccionar GPU para IA local

Calcular el presupuesto de memoria

Incluye pesos del modelo, caché de contexto, lotes, embeddings y margen para cambios. La cuantización altera memoria y calidad; compruébala en la tarea propia.

Probar la concurrencia real

Un resultado con una petición no describe el uso de un equipo. Mide picos, colas, latencia percentil y degradación con varias personas.

Comparar compra, alquiler y API

Cuenta energía, refrigeración, garantía, repuestos, actualización y tiempo de administración. Documenta supuestos y fecha de precios antes de decidir.

Cómo hacer una prueba de capacidad

Elige un modelo y una configuración de contexto, registra memoria utilizada al iniciar y durante una carga sostenida, y aumenta el número de solicitudes hasta observar colas o latencia inaceptable. Repite si cambias cuantización o longitud de contexto. Una GPU que puede cargar el modelo quizá no sirva a varios usuarios a la vez.

Anota también consumo, temperatura y tiempo de recuperación tras un fallo. Si el equipo no puede mantener el hardware o la carga varía mucho, compara alquiler o API con el mismo conjunto de tareas. Esta guía no recomienda un modelo de tarjeta concreto porque disponibilidad y precio cambian.

Estimar capacidad antes de elegir un número de modelo

Registra versión del modelo, precisión o cuantización, motor de servicio, contexto máximo, longitud de salida y peticiones simultáneas previstas. La memoria de los pesos es sólo el punto de partida: los búferes del proceso y la caché de atención también ocupan memoria, y su uso cambia con la forma de cada petición. Deja margen para picos y actualizaciones. Si una opción no admite contexto y concurrencia necesarios, cambiar únicamente el nombre de la tarjeta no resuelve la carga.

Prepara una muestra: intercambio breve, pregunta sobre documento largo, ráfaga de solicitudes simultáneas y cualquier trabajo de embeddings o voz que comparta el dispositivo. Mide memoria, rendimiento, espera en cola y latencia en percentiles altos para cada caso. Repite al cambiar modelo, cuantización, política de lotes o contexto; menos memoria puede traer otra calidad de respuesta. Conserva parámetros y resultados para que otro equipo repita la prueba.

Comparar clases de equipo según restricciones

Las tarjetas de consumo pueden servir para un desarrollo acotado; los equipos destinados a un servicio compartido pueden ofrecer otras características de memoria, soporte, fiabilidad y despliegue. Son categorías de evaluación, no una recomendación de compra de una GPU concreta. Comprueba alimentación, refrigeración, espacio, red, garantía y plazo de sustitución además de memoria. Si se usarán varios aceleradores, verifica cómo el motor divide el trabajo y comunica los dispositivos; no supongas que dos tarjetas se comportan como una sola memoria mayor.

Comparar propiedad y alternativas con la misma carga

En compra incluye adquisición, energía, refrigeración, alojamiento, mantenimiento, soporte, repuestos y personal que hace cambios. En alquiler o API incluye uso, almacenamiento, transferencias, compromisos mínimos, condiciones de datos y tiempo de equipo. Fija horizonte y rango de incertidumbre y aplica igual volumen y criterio de calidad. Una demanda irregular puede hacer más importante la capacidad ociosa que el precio unitario. El checklist de despliegue trata la operación; la comparación de costes ayuda a expresar supuestos.