Docker network + macvlan

Seguimos con los posts de docker y ahora toca uno sobre el tema de networking.

La necesidad básica es la de publicar a Internet un servidor web con nginx. En lugar de definir la IP pública al servidor docker nos interesa ponerla dentro del contenedor de nginx y luego que él sea el que tenga acceso al resto de máquinas.

El servidor de docker con el que estoy trabajando es una máquina física con debian con una IP de guifi (10.90.234.170) y en el datacenter donde está en la VLAN 138 está el rango de IP públicas (5.10.205.128/27).

Crear la network

Docker por defecto trae 3 networks, por defecto cuando creamos un contenedor nuevo asigna la red bridge (driver bridge) 172.17.0.0/16

root@wezen02:~# docker network ls
NETWORK ID          NAME                           DRIVER              SCOPE
f9e3dcfa1e06        bridge                         bridge              local
262f24ac9f10        host                           host                local
c4572142389a        none                           null                local

Para crear una nueva red y vincularla a la vlan correspondiente usaremos lo siguiente:

# docker network create -d macvlan -o parent=eno1.138 public

Cuando creamos una nueva red docker le asigna un rango por defecto correlativo al último rango creado, por ejemplo 172.18.0.0/16 pero nos interesa que cuando asignemos ésta network a un contenedor le asigne una IP de nuestro rango público.

# docker network rm public
# docker network create -d macvlan -o parent=eno1.138 public --subnet=5.10.205.128/27 --gateway=5.10.205.129 --ip-range 5.10.205.152/29

Con –subnet indicamos la red en la que trabaja la network, –gateway la puerta de enlace de nuestro router e –ip-range el rango que asignará automáticamente a los …

Servicios postmaster gmail y hotmail: los correos de mi servidor llegan a SPAM

Pues después de varios meses tratando de solucionar éste problema, creo que porfin lo he resuelto! al menos la teoría es ésta a la fecha de éste post.

Es muy común que proveedores de correo electrónico como Gmail o Hotmail cuando reciben los correos electrónicos desde nuestro servidor de correo nos manden los correos electrónicos de nuestras cuentas a SPAM, cosa que hace que se pierdan correos en el limbo y se generen problemas como clientes perdidos, plazos finalizados o otros problemas comunes.

Para ello tenemos que entender la complejidad de un sistema de correo electrónico y los motivos porqué un correo electrónico entra como SPAM.

Una lista de los problemas mas comunes son:
– IP en una blacklist
– Open Relay
– DNS (DKIM/DMARC)
– postmaster

Voy a detallar pues los errores mas comunes y como verificar que tenemos una configuración correcta.

IP en una blacklist

Hay unas páginas web que se encargan de recolectar IPs y rangos de IPs sospechosamente maliciosos. Los servidores de correo se configuran para verificar cada una de las listas de éstas páginas web. Una forma de verificar si tu IP está en una blacklist de éstas te recomiendo usar ésta página web que comprueba automáticamente si tu IP está listada en alguna de las listas mas comunes.

Si tu IP aparece en alguna de las blacklist te tocará ir página por página y pedir que retiren tu IP de su blacklist. Normalmente las páginas funcionan correctamente pero hace unos meses había una …

Caso real de despliegue con Docker Compose

Hago éste post con muchísima ilusión por tener la sensación de haber hecho un muy buen trabajo y haber asentado los conocimientos adquiridos en el curso de DevOPs que hice ya hace unas 3 semanas. Ya lo he hecho personalmente y ahora lo hago públicamente, pero le doy las infinitas gracias a Sens Solutions por confiar en mi y por la gran oportunidad de hacer un trabajo de éste tipo sabiendo que partía de unos conocimientos muy básicos! También a Alberto García por la formación ofrecida y el cuál no he tenido que contactar para resolver dudas (de momento).

Así que mi aportación de retorno es explicar como lo he hecho y que pueda servir a otras personas que como yo se están adentrando a éste mundo de Docker.

Para éste post recomiendo antes de todo revisar éstos dos posts que hice hace ya unas semanas: Comandos básicos de Docker y Introducción al trabajo con Dockerfile.

Con Dockerfile tenemos una receta para desplegar un contenedor (o container). Con docker-compose tenemos pues una receta para desplegar un conjunto de contenedores que interactuarán entre ellos. El caso (real) que voy a desarrollar en éste post considero que es muy didáctico porqué desplegaremos contenedores sin usar Dockerfile y otros los vamos a desplegar usando Dockerfile, una vez desplegados los vamos a vincular entre ellos. Prometo un post extenso y completo :)

El entorno que necesitamos desplegar consiste en:
– 1 contenedor con mariadb (dockerhub)
– 1 contenedor con una aplicación django, backend …

Introducción al trabajo con Dockerfile

Continuamos con los posts de Docker, en éste otro post hemos visto los comandos básicos para manejarnos con docker. Ahora vamos a entrar con Dockerfile para después centrarnos en docker-compose.

DOCKERFILE
El dockerfile consiste en un fichero con el nombre “Dockerfile” el cual contiene una “receta” para construir una imagen para después desplegarla como contenedor. Éste fichero lo encontraremos solo o acompañado de ficheros que se usarán para el despliegue del contenedor. Éste fichero tiene unas palabras reservadas que atienden a lo siguiente (se describen los mas usados):

FROM indica cuál es la imagen en la que se basa el contenedor que vamos a crear

MAINTAINER los datos del autor de la imagen
Sintaxis: MAINTAINER

RUN Esta instrucción ejecuta cualquier comando en una capa nueva encima de una imagen y hace un commit de los resultados. Esa nueva imagen intermedia es usada para el siguiente paso en el Dockerfile. Cuando creamos una imagen nos interesa hacerla con el mínimo de capas posible. RUN tiene 2 formatos
Sintaxis: RUN comando
Sintaxis: RUN [“ejecutable”, “parametro1”, “parametro2”]

ENV variables de entorno a pasar al crear el contenedor (-e)
Éstas variables pueden usarse dentro de cualquier fichero del entorno, por ejemplo un script ejecutable. Éstos son los valores por defecto a menos que se especifique otro en -e
Sintaxis: ENV key value
Sintaxis: ENV key=value

ADD/COPY copiar ficheros o directorios que se encuentran en el mismo sitio que el Dockerfile hacia dentro del contenedor. ADD permite descargar un fichero alojado por http.

Sintaxis: …

Comandos básicos de Docker

El otro día vimos como instalar un cluster de docker con swarm. Mas adelante veremos como se monta un cluster de Docker con Kubernettes. Tanto Swarm como Kubernettes son orquestadores de docker y para entender como funcionan antes debemos entender como usar Docker a pelo.

Docker puede funcionar perfectamente en una sola máquina y no es necesario montar un cluster, para tenerlo a mano, pego en modo resumen la parte de instalación de docker del anterior post (instalación en Debian):

root@docker-master:~# apt update && apt -y upgrade && apt -y dist-upgrade
root@docker-master:~# apt-get remove docker docker-engine docker.io containerd runc
root@docker-master:~# apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
root@docker-master:~# curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add -
root@docker-master:~# apt-key fingerprint 0EBFCD88
root@docker-master:~# add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable"
root@docker-master:~# apt update
root@docker-master:~# apt-get install docker-ce docker-ce-cli containerd.io

Una vez instalado Docker, voy a explicar de que va ésto.

Docker es un software de virtualización. La virtualización nace en AIX, el sistema operativo de los mainframes de IBM. La virtualización nace de la necesidad de correr otros sistemas operativos dentro de un sistema operativo. A lo largo de los años y a medida que los servidores y ordenadores de sobremesa han sido mas potentes, han ido apareciendo muchos programas y métodos de virtualización.
Por un lado tenemos los sistemas de virtualización de un sistema operativo entero como podrían ser VirtualBox, VMWare, KVM, Xen, etc. y mas adelante salieron otros sistemas que compartían el núcleo del sistema operativo (kernel) con el host.…

Instalar cluster docker (swarm) + portainer.io

Ésta semana y la anterior estoy con un curso de DevOPs. En él estamos viendo principalmente docker y los orquestadores swarm y kubernetes.
En éste post nos vamos a centrar de momento con swarm.

Swarm viene “instalado” cuando instalamos docker y no tendremos que instalar nada addicional, simplemente configurarlo que lo veremos mas adelante.

Primero de todo pues tendremos que instalar docker, pero no usaremos los paquetes del repositorio, sino que vamos a seguir la instalación de la página web de docker para debian.

El entorno donde vamos a instalar docker van a ser 3 máquinas virtuales con KVM, docker-master (172.31.0.201), docker-worker1 (172.31.0.202) y docker-worker2 (172.31.0.203). La instalación la repetimos en las 3 máquinas.

Instalar docker

Comprobamos que docker no esté instalado y si lo está, lo desinstalamos

root@docker-master:~# apt update && apt -y upgrade && apt -y dist-upgrade
root@docker-master:~# apt-get remove docker docker-engine docker.io containerd runc

Instalamos las dependencias necesarias

root@docker-master:~# apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

Añadimos la clave GPG

root@docker-master:~# curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add -
root@docker-master:~# apt-key fingerprint 0EBFCD88

Configuramos el repositorio “stable”

root@docker-master:~#  add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable"

Instalamos docker

root@docker-master:~# apt update
root@docker-master:~# apt-get install docker-ce docker-ce-cli containerd.io

A partir de aquí ya tenemos docker instalado y procederemos a montar el cluster swarm.

Activar cluster swarm

A continuación, montaremos 1 master y 2 workers. La recomendación es tener mínimo 3 master y 3 workers. En swarm, un master puede actuar como worker. De momento en el entorno que estamos …

La historia detrás de una simple transferencia de archivos

Ésta semana me he encargado de una tarea que muchos de nosotros hacemos diariamente, transferir ficheros por la red. Continuamente nos estamos pasando mensajes, fotografías, audios, vídeos, etc. por una red que nos interconecta a todos.

Al tratarse de un volumen considerable, la tarea requería un poco mas de dedicación y no era posible enviarse por los medios convencionales (telegram, mail), además el contenido de los ficheros era de importancia y era necesario comprobar que el contenido llegaba correctamente a su destino ya que el objetivo final era borrar los ficheros de origen.

Al igual que toda la historia que envuelve el contenido de éstos vídeos hay toda una historia detrás (y en la misma) del hito conseguido ésta tarde. Ésto hace apenas 30 años hubiese sido una utopía y denota una evolución tecnológica y también un cambio de paradigma en la forma que nos comunicamos los humanos.

Si nos remontamos unos años mas atrás, ésta necesidad de comunicación ya existía en los inicios de la especie humana. Una forma de comunicación serían lo que nos queda de aquellos inicios, las pinturas rupestres.
La comunicación la podemos usar para muchas cosas, para mostrar nuestros logros, para compartir nuestro conocimiento, para almacenar recuerdos e incluso mostrarnos a nosotros mismos. Ésta vorágine comunicativa se transmite mediante el arte: la pintura, la escultura, la escritura, la representación; la evolución del ser humano ha permitido la invención de cada vez mas complejos sistemas de comunicación que requieren una técnica mas avanzada, ésta técnica gracias …

Cómo gestionar las notificaciones?: mi caso

Hace unos días vi una persona que publicaba un vídeo sobre que se proponía desterrar los smartphones (teléfonos inteligentes) de su vida y pasar a un teléfono móvil sin internet. Me sorprendió por la persona de la que se trataba, @pauibars y como tal lo veo como un reto muy loable. Vídeo1: Viure sense smartphone al 2020 Vídeo2: Transició, reaccions i inici del repte de viure sense smartphone.

No es la primera vez que me encuentro con personas que renuncian a estar permanentemente conectadas y abrumadas de información.
Uno de los efectos secundarios de ésto es que cada vez pasamos menos tiempo leyendo o visionando, necesitamos consumir la información de forma mas voraz! en menos tiempo! cosa que nos convierte en personas mas ansiosas e individualistas, por otro lado nos convertimos en personas menos informadas, nos quedamos con los resúmenes y a veces aún peor sólo con el titular, nos quedamos sólo con la información de aquellos con los que estamos de acuerdo y perdemos la capacidad de investigar y cotejar por nosotros mismos la información. Ésto hace que nos convirtamos en personas fácilmente manipulables.
El año 2020 además del de la pandemia, lo etiquetaría como el año de las fake news (lacra existente desde el inicio de los tiempos y ahora magnificada con/por Internet).

Mi primer smartphone apareció en 2008 en la mano un nokia 95 8Gb y me he cuestionado varias veces sobre el uso que hago de mi teléfono móvil y he ido actuando en consecuencia. …

Seny i Rauxa

Pues hoy voy a poner un poco de “seny” (con un poco de “Rauxa” por la hora que es…) y me voy a ocupar de éste post que le había prometido a mi compañero de piso antes del 5 de Octubre, así que Luiz, aquí lo tienes. Que sepas que no dejo de pensar en ellas y ésto influye enormemente en mi vida! si analizas todo lo que te ocurre diariamente con éstas dos palabras, “seny” y “rauxa” todo toma un aire curioso :) cuando hago el check de mi día pienso en si lo que he hecho es “rauxa” o es “seny”.

Apreciados lectores y bots de internet, les pongo en situación. Luiz es, tal como he comentado en el párrafo anterior, mi actual compañero de piso. Brasileño, su última estancia fué Alemania, está aquí por un master de nosemuybienqué,peromolanlascosasquehace, que nos comunicamos en Inglés, que si alguna palabra no la sé la digo directamente en Castellano y si hace falta buscamos las palabras correctas para comunicar cosas (¡estoy aprendiendo mucho! ¡muchas gracias!). Parte de éste good feeling nos llevó una noche de verano entre una de muchas conversaciones a hablar sobre las palabras “Seny” y “Rauxa”.

Luiz tiene una asignatura que tienen que hacer los que hacen erasmus/master sobre algo sobre el sitio donde estás viviendo y decidió estudiar éstas dos palabras en un trabajo importante que tiene que hacer. Pero no eran dos palabras cualesquiera, eran de éstas palabras propias que tienen los idiomas, aquellas que definen …

Servidor y cliente REST: Django REST framework + requests

Muchos de los posts de éste blog son pequeñas píndolas y recordatorios que me dejo para facilitarme mi tarea diaria de administración de sistemas y últimamente de desarrollo, los comparto públicamente porque al servirme a mi, espero que sirvan a otros. Hoy os traigo un nuevo post de éstos últimos, precisamente de uno que ha sido durante varios años una espinita clavada, programar un servidor API. Hace 3 años hice un módulo de interacción con la API de un proveedor con uno de los programas que tengo en PHP, pero me quedaba lo que era realmente la espinita, la de crear yo el servidor API y permitir que otros programas interactuasen con el mío.

Hace alrededor de 5 años, un cliente que usaba un programa mío me pidió de la posibilidad de interactuar con el programa mediante una API. En aquel entonces traté de desarollarlo, pero con el lenguaje que estaba usando (PHP) y los conocimientos que tenía entonces me resultó tarea imposible, además de la actitud del desarrollador web del cliente. En fin. Así que haber superado éste hito es una inyección de felicidad, superación y autoconfianza.

Vamos a empezar.

Marco y necesidad
Me encuentro con dos aplicaciones que estoy desarrollando con django, voy a llamarlas por su nombre, colibrí y cóndor. Colibrí es un programa experto para hacer auditorías compliance y para cada empresa permite tener un inventario de máquinas. Por otro lado está Cóndor que es un programa de comunicación cliente-empresa. Lo que queremos hacer es que …