MQTT, faites communiquer vos objets simplement

mqttLa communication entre « objets connectés » ou tout simplement dans votre environnement domotique est probablement l’une des choses essentielles.

Dans les protocoles de communication que l’on retrouve le plus souvent, vous avez bien sûr http (et ses fameuses API Rest (ou pas)), xPL (dont je vous ai souvent parlé), XAP, XMPP, SNMP (si si je vous assure qu’il y en a qui ont essayé…)  et d’autres trucs plus ou moins bien conçus.

Un protocole devrait pourtant tenir rapidement le « haut du pavé » et devenir le standard de l‘i.o.t (comprendre l’internet des objets (ou « internet of things » pour reprendre le terme officiel) : MQTT.

Et pour couronner le tout, MQTT est devenu depuis quelque jours un standard s’échange OASIS (OASIS (Organization for the Advancement of Structured Information Standards) est un consortium chargé d’aider au développement, à la convergence et l’adoption de standards ouverts  pour « la société mondiale de l’information » (oui je mets des guillemets…). On y trouve des références qui ne laissent pas de marbre https://www.oasis-open.org/member-sections/ )

C’est bien joli tout cela, mais comment ça marche ?

mqttconcept

(c) David Cuartielles @dcuartielles

MQTT est un service de messagerie TCP/IP simple et extrêmement léger dans le sens où des messages de toutes sortes (le contenu importe peu du moment que le message n’excède pas 256Mo (oui oui, vous pouvez envoyer des photos de la cousine Tatiana par MQTT…)) peuvent être transmis.

Les messages sont envoyés par des publieurs (les publishers) sur un canal (une chaîne d’information si vous voulez) appelé Topic. Ces messages peuvent être lus par les abonnés (les subscribers). Les Topics (ou les canaux d’informations) peuvent avoir une hiérarchie qui permet de sélectionner finement les informations que l’on désire.

Par exemple, le topic /sensor/temperature/salon ne me donnera que les températures du salon si je m’y abonne (et ma sonde de température dans le salon publiera sur le topic sa valeur régulièrement).
Je pourrais aussi m’abonner au topic /sensor/temperature/# pour avoir toutes les températures, ou au topic /sensor/# pour avoir toutes les remontées des sondes (plus de de détails sur les « wildcards » sur les topics sont disponibles ici http://mosquitto.org/man/mqtt-7.html )

Bien sur le topic pourrait aussi être /nagios/serveur/ping ;)

Afin de préserver un peu de discrétion, vous pouvez bien évidemment définir qui a le droit de publier sur tel ou tel Topic et également qui a le droit de s’y abonner.

La sécurité peut se faire au niveau transport en SSL/TLS, et au niveau authentification, par certificats SSL/TLS ou couple user/mot de passe.

Une autre chose importante est la notion de QoS dans les messages qui transitent via MQTT (c’est le publieur qui définit la qualité du message).

  • Un message de QoS niveau 0 « At most once » sera délivré tout au plus une fois. C’et a dire qu’il n’est pas stocké et probablement envoyé sans garantie de réception (un peu comme un message UDP xPL par exemple), le broker (le serveur MQTT) n’informe pas l’expéditeur qu’il l’a reçu et le message peut être perdu si le client se déconnecte ou si le serveur s’arrête.
  • Un message de QoS niveau 1 « At least once » sera livré au moins une fois. C’est à dire que le client le transmettra plusieurs fois s’il le faut jusqu’à ce que le Broker lui confirme qu’il a était transmis sur le réseau (quitte a l’envoyer en rafale plusieurs fois).
  • Un message de QoS niveau 2 « exactly once » sera obligatoirement sauvegardé par l’émetteur et le transmettra toujours tant que le récepteur ne confirme pas son envoi sur le réseau. La principale différence étant que l’émetteur utilise une phase de reconnaissance plus sophistiquée avec le broker pour éviter une duplication des messages (plus lent mais plus sûr).

Je ne vais pas peaufiner les détails du protocole, je vous invite fortement à en lire les spécifications : http://www.ibm.com/developerworks/library/ws-mqtt/ et toute la documentation qui va bien http://mqtt.org/documentation

Vous trouverez des Brokers et des clients MQTT dans votre langage de prédilection ainsi que des projets bien avancés.
Si vous êtes un adepte de Node JS, je vous invite à regarder le travail de Matteo Collina qui est un gros contributeur MQTT (pour ne citer que les plus connus : MOSCA, QUEST …)

Maintenant un peu de pratique.

D’abord, installons un broker/serveur MQTT. Celui que j’affectionne est Mosquitto.
Vous trouverez les packages pour différentes distributions GNU/Linux ou *BSD (même pour votre raspberry pi ;) ) ou vous pouvez le compiler depuis les sources.

La configuration se fait dans le fichier /etc/mosquitto/mosquitto.conf.
Pour nos tests, nous allons juste réaliser une configuration basique:

log_type debug
allow_anonymous false
password_file /etc/mosquitto/accesslist.txt

Nous interdisons l’accès en anonyme et nous allons autoriser les connexions uniquement avec un identifiant mot de passe (dont la liste se trouve dans un simple fichier de la forme user:motdepasse (PS: l’utilitaire mosquitto_passwd vous aidera à le créer)
Une fois lancé, le serveur écoute sur le port 1883 par défaut.

Un petit script python tout bête pour nous abonner à un topic et afficher les messages (vous trouverez plein d’exemples et d’articles intéressants sur le site de Jan-Piet Mens : http://jpmens.net/2013/02/25/lots-of-messages-mqtt-pub-sub-and-the-mosquitto-broker/ )

#!/usr/bin/env python
 
import mosquitto
 
def on_message(mosq, obj, msg):
print "%-20s %d %s" % (msg.topic, msg.qos, msg.payload)
mosq.publish('pong', "Thanks", 0)
 
def on_publish(mosq, obj, mid):
pass
 
cli = mosquitto.Mosquitto()
cli.on_message = on_message
cli.on_publish = on_publish
cli.username_pw_set("guigui", password="abloc)
cli.connect("broker.guiguiabloc.fr", 1883, 60)
cli.subscribe("/test/#", 0)
 
while cli.loop() == 0:
pass

Lancer le script et vous devriez voir dans les logs (/var/log/syslog par défaut) de votre broker, la connexion se faire :

Nov 13 10:57:17 eos mosquitto[19305]: Sending CONNACK to mosq/69ED9C77592ADC1E7D (0)
Nov 13 10:57:17 eos mosquitto[19305]: Received SUBSCRIBE from mosq/69ED9C77592ADC1E7D
Nov 13 10:57:17 eos mosquitto[19305]: #011/test/# (QoS 0)
Nov 13 10:57:17 eos mosquitto[19305]: Sending SUBACK to mosq/69ED9C77592ADC1E7D

Maintenant, publions un message.

mosquitto_pub -h broker.guiguiabloc.fr -u "user" -P "motdepasse -t /test -m "Hello la foule"

Le message s’affiche dans votre client :

/test                0 Hello la foule

et dans les logs :

Nov 13 11:00:42 eos mosquitto[19305]: Received PUBLISH from mosq_pub_21013_eos.sty (d0, q0, r0, m0, '/test', ... (14 bytes))
Nov 13 11:00:42 eos mosquitto[19305]: Sending PUBLISH to mosq/69ED9C77592ADC1E7D (d0, q0, r0, m0, '/test', ... (14 bytes))
Nov 13 11:00:42 eos mosquitto[19305]: Received PUBLISH from mosq/69ED9C77592ADC1E7D (d0, q0, r0, m0, 'pong', ... (6 bytes))

Plus drôle, il existe même une application android pour publier et s’abonner  à un broker MQTT : https://play.google.com/store/apps/details?id=at.tripwire.mqtt.client&hl=fr_FR

mqttandroid

Sachez aussi que vous pouvez, en websocket, pousser directement les messages dans un navigateur web http://jpmens.net/2014/07/03/the-mosquitto-mqtt-broker-gets-websockets-support/

Alors c’est pas génial ? :)

Bien évidemment vous imaginez toutes les possibilités offertes par ce protocole. Certains fous furieux ont déjà commencé à coder en LUA pour la Vera, un client MQTT .

Sachez également qu’un projet domotique très prometteur inclus déjà MQTT : openHAB
Je risque donc de vous en reparler ;)

Autre chose à souligner, il existe un très bon projet : mqttwarn

mqttwarn

Ce projet est une sorte de passerelle qui s’abonne à « tout » les topics et qui se charge ensuite de les transmettre à divers clients (pushover, mysql, redis, twitter etc…)

Même votre serveur de téléphonie Asterisk peut « causer MQTT » : https://github.com/zeha/agi-mqtt

Maintenant, peut-on considérer que c’est la panacée et que cela va supplanter tout ce qui existe.
Oui et non (une bonne réponse comme je les aime).

Oui parce que l’on standardise un protocole de transport d’information et que les systèmes de messages de type MQ, sont très performant. C’est temps réel, ça marche très bien en websocket, c’est déjà inclus dans plein de langage, bref, que du bonheur. De plus, l’implémentation est facile.

Non parce que l’on standardise le transport et pas le message reçu mais cela serai toujours la bête noire (même une API Rest vous retourne un json dans la syntaxe qu’il veut, à vous de vous adapter).

Toutefois, je pense sincèrement que MQTT est un protocole terriblement intéressant et qui peut nous rendre grandement service, reste désormais à l’intégrer partout.

Amusez-vous bien :D

Ce billet a été posté dans architecture, domotique, geekerie et taggé , . Bookmark ce permalink.

6 commentaires sur “MQTT, faites communiquer vos objets simplement

  1. J’ai déjà codé une passerelle xPL vers Mqtt (via xpl-pyhal), il y a effectivement de grandes chances que je bascule vers Mqtt car les possibilités sont énormes (en plus d’être désormais un standard).

  2. bonjour, pourquoi en début d’article dis tu que certains ont essayé d’utiliser SNMP et « qu’ils ont eut des problèmes ». En quoi l’utilisation de SNMP est à proscrire ? Merci de ta réponse

  3. Bonjour,

    Juste un commentaire sur les « topic » : le ‘/’ au début ne sert à rien si ce n’est de gaspiller (un tout petit peu) de ressources. Source : La doc de Paho :)

    Sinon, j’en use et abuse pour ma propre solution domotique : contrairement aux webservice (REST), il me permet d’avoir autant de tableaux de bord connectés que je veux sans aucun impacte sur les charges serveur ou réseau :)

    Laurent

  4. Bjr,
    j’ai besoin votre aide j’ai un projet de fin d’étude sur les protocoles de communications de i.o.t (internet of things) et j’ai besoin d’un simulateur pour tester ces protocoles a fin de faire une étude comparative et choisissez le meilleur protocole

  5. @skander il suffit de deployer des machines virtuelles pour simuler n’importe quel environnement (ou en local via Vmware, XEN, KVM etc..) ou en mode cloud via Amazon EC2 ou les VPS d’OVH.