Este documento propone un sistema remoto en zonas rurales para realizar inferencia de inteligencia artificial de manera rentable. Se recomienda instalar servidores con RTX 3090 en lugares con bajos costos de electricidad y espacio, y usar placas solares para reducir costos a menos de 300 euros al año. El sistema usa comunicaciones 4G+, redes privadas, y Docker para ejecutar modelos de manera remota de forma accesible y segura.

1. SISTEMA REMOTO PARA INFERIR EN ZONAS
REMOTAS RURALES
Inteligencia artificial optimizando costes
(aspectos técnicos y económicos)
JOSE MUSSACH
04/04/2021
Ingeniero de telecomunicacion y Data Scientist
EMBA IESE
jmussach@gmail.com

2. OPCIONES para RENTABILIZAR TU PROPIA RTX 3090 NVIDIA
1 Proyectos para modelar o inferir ciencia de datos de alto valor añadido.
2 Bases de datos ultra rápidas.
3 Alquilar como servidor dedicado (> 3000 euros anuales / RTX 3090 ej vast.ai ) , pero no se puede utilizar para tu uso propio mientras se alquila.
4 Minar moneda criptográfica (105 MH/ s) cuanto esta ocioso, 2900 euros anuales ( ocupa 4 GB memoria).
SOLUCION OPTIMA > 1 + 2 en combinación 4

3. ELEGIMOS RTX 3090 NVIDIA
1 24 GB memoria (que permite cargar diferentes modelos preentrenados con el ahorro ancho banda o posibilidad de
trabajar en modelados grandes).
2 ÓPTIMO Coste invertido / potencia maximizada (1500 euros GPU / RTX 3090 - coste 35.000 euros/PETAFLOP con
energía verde).
29 DLPerf - 45 TFLOPS – Pci express 4.0
3 Comunidad amplísima y multitud de modelos preentrenados, proyecto rapids.ai.
4 En contra: tecnología 8 nm (actualmente 5nm en 2021 con mejoras de potencia y menor consumo), no hay en stock en el primer
semestre 2021 (desde 15 Enero), licencia Nvidia no permite la instalación en Datacenters.

4. VENTAJAS E INCONVENIENTES DE UN DATACENTER
Ventajas:
• Disposición de ancho de banda ( precio 3500 Euros / 100 Gbps Ip transit ), ideal para sistemas de preentrenamiento e inferir que requiera
ancho de banda -> claramente la mejor opción para sistemas de preentrenamiento e inferir que necesitan gran ancho de banda.
• Intervención manual.
• Alimentación interrumpida y aire acondicionado.
• Seguridad.
Desventajas:
• Coste electricidad alto (0.21 euros), coste que compromete modelo de negocio, dedicar las GPUS a menor valor añadido (minar cryto, por
ejemplo) Coste alquiler espacio medio rack (350 euros mínimo) con limitación potencia.
• Y si alquilamos una GPU RTX 3090, a partir >8.000 euros anuales / GPU (> 2000 euros hora Amazon o Google misma potencia) versus
inversión compra 1.600 euros GPU (problemas suministro primer semestre 2021).
• La nueva EULA NVIDIA prohíbe el uso de RTX en Datacenters.

5. VENTAJAS DE UN SISTEMA REMOTO EN ZONA RURAL
• Lugares donde disponer de espacio y precio m2 es mas económico.
• Disposición de tejado propio para la instalación de placas fotovoltaicas, solución verde y respetuosa medio ambiente.
• Temperaturas bajas (esencial para la vida útil del ordenador, y ahorro coste aire acondicionado), Free cooling.
• Abaratar costes electricidad con placas fotovoltaicas y aprovechar sistema de compensación y tarifa nocturna:
No es necesario SAIs, instalando pequeña batería litio al sist fotovoltaico
Disminuir incidencia corte luz en horas de sol
Abaratamiento costes luz (actualmente el coste de w instalado fotovoltaico está en <0.8 Euro/W con una oferta mundosolar).
• Menor incidencia de robos, entornos donde los vecinos se conocen todos.
• Coste electricidad en un Datacenter 0.21 Euros Kwh versus a 10 veces menor en un sistema remoto con placas fotovoltaicas.
• Ubicación < 3 Horas de ciudad residencia.
• Si vas un fin de semana, no te encuentras la casa helada y tejado mejor protegido.

6. PROBLEMAS CON LAS COMUNICACIONES
• El sistema se instala en un pueblo remoto de España donde las temperaturas son razonablemente bajas.
• Seleccionamos un router 4G+ con datos ilimitados con la compañía que tengamos mas cobertura y ancho de banda (muy importante, comprobar test de velocidad
en Verano), hemos elegido Orange en nuestro caso.
• Se rechaza ADSL pues los pares que llegan, a muy mala calidad y se consiguen velocidades bajas, no llega FTTH fibra.
Es importante enchufar un timer al router, para que una vez al día de madrugada se reinicie Router (por operaciones de operador se bloquean)
Podemos establecer un SDWAN, pero en este caso, instalamos tailscale que nos permite de manera gratuita y segura una red overlay, de tal manera que todos nuestros
centros están en la misma red con las siguientes ventajas:
Acceso ssh via red privada overlay por tailscale y reporte de los logs a Elasticseach analizados por ML y alertas con slack, en otro centro dentro de nuestra
red overlay (móviles y ordenadores en la red overlay)
El jupyter para inferir de este centro remoto será accesible desde cualquier centro o dispositivo móvil dentro red overlay
Todos los sistemas estarán interconectados a través de la red overlay de manera segura e interconectados a nivel IP
• Ampliación ancho de banda con SDWAN diferentes líneas 4G+ (flexiwan o qhora-301w 4 puertos wan) o solución starlink a mediados 2021 en España.
• Ya hay muchas zonas rurales con GPON FTTH 600 Mbits (NEBA o fibra indirecta).

7. COSTE ELÉCTRICO EN ESPAÑA CON PLACAS FOTOVOLTAICAS
• Hipótesis 3 GPUS RTX 3090 ( 1.1 KWH / 105 TFLOPS ) en un ordenador (limitación pci lanesx16 CPU+ fuente alimentación 1.2 kwh).
• Contratación modalidad discriminación horaria Iberdrola (Tarifas a mejorar con comercializadora cambiándolo a último recurso, mejoras >20% precio).
0.13 Euros Kwh 10 a 17 h (invierno), variando a las 9 h o 18 h dependiendo estación
0.089 Euros Kwh Horario promocionado
• Lo mas importante, es el autoconsumo eléctrico, compensando la energía excedentaria a la red 0.051 Euros Kwh.
• Instalación óptima de 3.5 kwh fotovoltaico (8 placas), con posibilidad ampliar hasta 5 kwh (límite espacio tejado + inversor HUAWEI SUN2000L 2.0-6.0
KTL-L1 HYBRID - 2.0 + potencia boletín máxima 5.7 kwh).
• Resultado coste electricidad estimado con placas fotovoltaicas y discriminación horaria y compensación: < 300 euros Anuales.
• Coste electricidad sin placas fotovoltaicas: >1.100 euros (con discriminación horaria).
• Coste electricidad en un DATACENTER: 2.300 euros (0.21 Euros Kwh)..

8. ORDENADOR CON 2 RTX 3090 y 4 PLACAS 440 VATIOS (3/4/2021)
* Pendiente ampliar 2 placas mas orientación sur para conseguir objetivo coste eléctrico

9. PROBLEMAS FISICOS Y SOLUCIONES DEL SERVIDOR
RTX 3090 Nvidia genera 330 W, por un problema de calor y de espacio, se utilizan extensores de PCI express para gestionar espacio y evacuación calor
No utilizamos Pci-E Riser de minero (x1 pci express), pues queremos aprovechar el servidor no solo para minar sino para inferir y que saque el máximo
partido a la PCI-express
Dongle Hdmi (permite conexión gráfica VNC)
Configuración setup servidor para arranque automático
Ubuntu con Docker + kubernetes +tailscale + vnc + Cuda 11.0+ Anaconda + ELK
Sistema domótico Lidl económico apagado / encendido (SO inaccesible)
Sistemas que no se necesita ancho banda GPU
• Modelos ya cargados en Memoria
• Minado de moneda crypto
• No se necesita CPUs
Ventaja:
• Número de GPUs por slots PCI board
• Hay placas mineras con > 18 pci
express
• No hay límites Fuentes alimentación y no
es necesario fuentes gran potencia pues
las GPUs llevan sus propias Fuentes
A partir 3 GPUs por ordenador standard (fuente alimentación + Pci lanes)
Óptimo para inferir sistemas con necesidades de ancho de banda