août 01

l’API Domogeek, clap de fin

closedapi

EDIT DU 06/08/2015 : Bonne nouvelle ! Le groupe Entropia SA basé au Luxembourg m’a offert gracieusement l’hébergement de l’API. Domogeek renait donc de ses cendres :D
Temporairement, l’url de l’API est http://domogeek.entropialux.com

 

C’est avec un grand regret que je vais cesser d’offrir publiquement l’accès à l’API Domogeek, après 1 an d’existence.

Le succès a était au rendez vous puisque ses dernière semaines, le nombre d’appels à l’API dépassait largement les 500 000 par jour.
J’ai tout fait pour supporter la charge (le taux de disponibilité (affiché publiquement par les sondes PingDom) a toujours était supérieur à 99,5%)a et pour cela j’ai du investir du temps mais surtout de l’argent pour payer la location des serveurs chez OVH.

D’une mentalité d’entraide et de partage innée chez moi, j’ai donc sollicité les utilisateurs pour faire un modeste don afin de m’aider à régler ses frais.
En deux appels, j’ai récolté la somme faramineuse de… 50 euros, avec en prime une suppression de mon post sur le forum Jeedom pour la raison que les appels aux dons sur le forum d’un produit à vocation commerciale n’avait pas lieu d’être. Soit. Je me suis longuement expliqué avec l’équipe et je concois que cela entrave le fonctionnement de leur businness-plan, mais bon, les plugins open, c’est un peu la force de Jeedom aussi…
Après, j’avais une position difficile, je ne suis pas l’auteur du plugin (c’est tmartinez, qui d’ailleurs a était parmi les premiers a faire un don pour l’api), et donc je ne suis qu’un fournisseur de service sans lien avec Jeedom mais j’ai eu un peu de mal à avaler la pastille, moi qui le premier revendique le partage, l’entraide et la transparence.

Je ne peux que remercier chaleureusement les  7 (:p) utilisateurs qui ont voulu m’aider : tmartinez, Kheops37, Stéphane (lademan ?), Mickael (Mika ?), edreams, mamatdv, lionel

Le code source est toujours disponible sur GitHub et vous pouvez donc l’héberger localement pour continuer à utiliser le plugin de tmartinez (pour les utilisateurs de Jeedom) ou en direct pour les autres.

Je suis de cette génération de barbu qui a toujours offert de l’entraide, qui a toujours partagé ses découvertes, ses modestes développements et je suis aujourd’hui déçu que cette mentalité tend a disparaître de plus en plus.
Sur IRC, sur les forums, je voyais déjà cette aide bénévole se transformait en assistanat (les gens ne cherche plus et attende la réponse tout de suite avec un merci donné du bout des doigts, quand il existe) et cette aventure m’a malheureusement démontré qu’on ne peut plus solliciter financièrement un coup de main, il faut obligatoirement faire payer le service.

Je salue les quelques irréductibles qui continue à offrir des services à la communauté en payant de leur personne et de leur porte-monnaie les infrastructures nécessaire (j’en oublierais sûrement donc spécial coup de chapeau à domotics du forum toute la domotique, à Jean-Philippe Encausse pour son projet SARAH, à l’équipe Domogik, à l’équipe Imperihome etc… J’en oublie plein mais ils se reconnaîtrons forcément :D )

A vous tous les utilisateurs de tout ses programmes, ses services, ses aides gratuites, n’oubliez jamais que derrière il y a souvent 1 ou quelques personnes qui vous offrent bénévolement de leur temps et souvent de leur argent pour vous rendre la vie agréable, alors un coup de main, même minime, cela donne toujours beaucoup de chaleur et de reconnaissance…

« La valeur d’un homme tient dans sa capacité à donner et non dans sa capacité à recevoir. »  Albert Einstein

Classé dans domotique | 19 Commentaires
nov 13

MQTT, faites communiquer vos objets simplement

mqttLa communication entre « objets connectés » ou tout simplement dans votre environnement domotique est probablement l’une des choses essentielles.

Dans les protocoles de communication que l’on retrouve le plus souvent, vous avez bien sûr http (et ses fameuses API Rest (ou pas)), xPL (dont je vous ai souvent parlé), XAP, XMPP, SNMP (si si je vous assure qu’il y en a qui ont essayé…)  et d’autres trucs plus ou moins bien conçus.

Un protocole devrait pourtant tenir rapidement le « haut du pavé » et devenir le standard de l‘i.o.t (comprendre l’internet des objets (ou « internet of things » pour reprendre le terme officiel) : MQTT.

Et pour couronner le tout, MQTT est devenu depuis quelque jours un standard s’échange OASIS (OASIS (Organization for the Advancement of Structured Information Standards) est un consortium chargé d’aider au développement, à la convergence et l’adoption de standards ouverts  pour « la société mondiale de l’information » (oui je mets des guillemets…). On y trouve des références qui ne laissent pas de marbre https://www.oasis-open.org/member-sections/ )

C’est bien joli tout cela, mais comment ça marche ?

mqttconcept

(c) David Cuartielles @dcuartielles

MQTT est un service de messagerie TCP/IP simple et extrêmement léger dans le sens où des messages de toutes sortes (le contenu importe peu du moment que le message n’excède pas 256Mo (oui oui, vous pouvez envoyer des photos de la cousine Tatiana par MQTT…)) peuvent être transmis.

Les messages sont envoyés par des publieurs (les publishers) sur un canal (une chaîne d’information si vous voulez) appelé Topic. Ces messages peuvent être lus par les abonnés (les subscribers). Les Topics (ou les canaux d’informations) peuvent avoir une hiérarchie qui permet de sélectionner finement les informations que l’on désire.

Par exemple, le topic /sensor/temperature/salon ne me donnera que les températures du salon si je m’y abonne (et ma sonde de température dans le salon publiera sur le topic sa valeur régulièrement).
Je pourrais aussi m’abonner au topic /sensor/temperature/# pour avoir toutes les températures, ou au topic /sensor/# pour avoir toutes les remontées des sondes (plus de de détails sur les « wildcards » sur les topics sont disponibles ici http://mosquitto.org/man/mqtt-7.html )

Bien sur le topic pourrait aussi être /nagios/serveur/ping ;)

Afin de préserver un peu de discrétion, vous pouvez bien évidemment définir qui a le droit de publier sur tel ou tel Topic et également qui a le droit de s’y abonner.

La sécurité peut se faire au niveau transport en SSL/TLS, et au niveau authentification, par certificats SSL/TLS ou couple user/mot de passe.

Une autre chose importante est la notion de QoS dans les messages qui transitent via MQTT (c’est le publieur qui définit la qualité du message).

  • Un message de QoS niveau 0 « At most once » sera délivré tout au plus une fois. C’et a dire qu’il n’est pas stocké et probablement envoyé sans garantie de réception (un peu comme un message UDP xPL par exemple), le broker (le serveur MQTT) n’informe pas l’expéditeur qu’il l’a reçu et le message peut être perdu si le client se déconnecte ou si le serveur s’arrête.
  • Un message de QoS niveau 1 « At least once » sera livré au moins une fois. C’est à dire que le client le transmettra plusieurs fois s’il le faut jusqu’à ce que le Broker lui confirme qu’il a était transmis sur le réseau (quitte a l’envoyer en rafale plusieurs fois).
  • Un message de QoS niveau 2 « exactly once » sera obligatoirement sauvegardé par l’émetteur et le transmettra toujours tant que le récepteur ne confirme pas son envoi sur le réseau. La principale différence étant que l’émetteur utilise une phase de reconnaissance plus sophistiquée avec le broker pour éviter une duplication des messages (plus lent mais plus sûr).

Je ne vais pas peaufiner les détails du protocole, je vous invite fortement à en lire les spécifications : http://www.ibm.com/developerworks/library/ws-mqtt/ et toute la documentation qui va bien http://mqtt.org/documentation

Vous trouverez des Brokers et des clients MQTT dans votre langage de prédilection ainsi que des projets bien avancés.
Si vous êtes un adepte de Node JS, je vous invite à regarder le travail de Matteo Collina qui est un gros contributeur MQTT (pour ne citer que les plus connus : MOSCA, QUEST …)

Maintenant un peu de pratique.

D’abord, installons un broker/serveur MQTT. Celui que j’affectionne est Mosquitto.
Vous trouverez les packages pour différentes distributions GNU/Linux ou *BSD (même pour votre raspberry pi ;) ) ou vous pouvez le compiler depuis les sources.

La configuration se fait dans le fichier /etc/mosquitto/mosquitto.conf.
Pour nos tests, nous allons juste réaliser une configuration basique:

log_type debug
allow_anonymous false
password_file /etc/mosquitto/accesslist.txt

Nous interdisons l’accès en anonyme et nous allons autoriser les connexions uniquement avec un identifiant mot de passe (dont la liste se trouve dans un simple fichier de la forme user:motdepasse (PS: l’utilitaire mosquitto_passwd vous aidera à le créer)
Une fois lancé, le serveur écoute sur le port 1883 par défaut.

Un petit script python tout bête pour nous abonner à un topic et afficher les messages (vous trouverez plein d’exemples et d’articles intéressants sur le site de Jan-Piet Mens : http://jpmens.net/2013/02/25/lots-of-messages-mqtt-pub-sub-and-the-mosquitto-broker/ )

#!/usr/bin/env python
 
import mosquitto
 
def on_message(mosq, obj, msg):
print "%-20s %d %s" % (msg.topic, msg.qos, msg.payload)
mosq.publish('pong', "Thanks", 0)
 
def on_publish(mosq, obj, mid):
pass
 
cli = mosquitto.Mosquitto()
cli.on_message = on_message
cli.on_publish = on_publish
cli.username_pw_set("guigui", password="abloc)
cli.connect("broker.guiguiabloc.fr", 1883, 60)
cli.subscribe("/test/#", 0)
 
while cli.loop() == 0:
pass

Lancer le script et vous devriez voir dans les logs (/var/log/syslog par défaut) de votre broker, la connexion se faire :

Nov 13 10:57:17 eos mosquitto[19305]: Sending CONNACK to mosq/69ED9C77592ADC1E7D (0)
Nov 13 10:57:17 eos mosquitto[19305]: Received SUBSCRIBE from mosq/69ED9C77592ADC1E7D
Nov 13 10:57:17 eos mosquitto[19305]: #011/test/# (QoS 0)
Nov 13 10:57:17 eos mosquitto[19305]: Sending SUBACK to mosq/69ED9C77592ADC1E7D

Maintenant, publions un message.

mosquitto_pub -h broker.guiguiabloc.fr -u "user" -P "motdepasse -t /test -m "Hello la foule"

Le message s’affiche dans votre client :

/test                0 Hello la foule

et dans les logs :

Nov 13 11:00:42 eos mosquitto[19305]: Received PUBLISH from mosq_pub_21013_eos.sty (d0, q0, r0, m0, '/test', ... (14 bytes))
Nov 13 11:00:42 eos mosquitto[19305]: Sending PUBLISH to mosq/69ED9C77592ADC1E7D (d0, q0, r0, m0, '/test', ... (14 bytes))
Nov 13 11:00:42 eos mosquitto[19305]: Received PUBLISH from mosq/69ED9C77592ADC1E7D (d0, q0, r0, m0, 'pong', ... (6 bytes))

Plus drôle, il existe même une application android pour publier et s’abonner  à un broker MQTT : https://play.google.com/store/apps/details?id=at.tripwire.mqtt.client&hl=fr_FR

mqttandroid

Sachez aussi que vous pouvez, en websocket, pousser directement les messages dans un navigateur web http://jpmens.net/2014/07/03/the-mosquitto-mqtt-broker-gets-websockets-support/

Alors c’est pas génial ? :)

Bien évidemment vous imaginez toutes les possibilités offertes par ce protocole. Certains fous furieux ont déjà commencé à coder en LUA pour la Vera, un client MQTT .

Sachez également qu’un projet domotique très prometteur inclus déjà MQTT : openHAB
Je risque donc de vous en reparler ;)

Autre chose à souligner, il existe un très bon projet : mqttwarn

mqttwarn

Ce projet est une sorte de passerelle qui s’abonne à « tout » les topics et qui se charge ensuite de les transmettre à divers clients (pushover, mysql, redis, twitter etc…)

Même votre serveur de téléphonie Asterisk peut « causer MQTT » : https://github.com/zeha/agi-mqtt

Maintenant, peut-on considérer que c’est la panacée et que cela va supplanter tout ce qui existe.
Oui et non (une bonne réponse comme je les aime).

Oui parce que l’on standardise un protocole de transport d’information et que les systèmes de messages de type MQ, sont très performant. C’est temps réel, ça marche très bien en websocket, c’est déjà inclus dans plein de langage, bref, que du bonheur. De plus, l’implémentation est facile.

Non parce que l’on standardise le transport et pas le message reçu mais cela serai toujours la bête noire (même une API Rest vous retourne un json dans la syntaxe qu’il veut, à vous de vous adapter).

Toutefois, je pense sincèrement que MQTT est un protocole terriblement intéressant et qui peut nous rendre grandement service, reste désormais à l’intégrer partout.

Amusez-vous bien :D

Classé dans architecture, domotique, geekerie | Taggé , | 2 Commentaires
août 13

Domotique et Intelligence : la communication

lacommunication

Quelques mois plus tôt, j’avais évoqué la nécessité de la connaissance pour un environnement domotique (cf. http://blog.guiguiabloc.fr/index.php/2014/01/04/domotique-et-intelligence-la-connaissance/)

J’aimerais maintenant aborder avec vous la deuxième partie, la communication.

A suivre l’actualité des constructeurs et les retours ou discussions des utilisateurs de domotique sur les blogs ou forums divers, j’ai l’impression assez désagréable de vivre à nouveau le même scénario qu’il y a plusieurs années quand l’informatique personnelle s’est généralisée auprès du grand public.

Tout le monde y va de son interface, de son protocole de communication, de sa box révolutionnaire, de ses structures http etc.. Bref, « c’est moi qui ait la bonne solution et les autres n’ont qu’a s’adapter ».

king

Alors heureusement, un peu d’intelligence à effleurer ce microcosme car la plupart des solutions « tout-en-un » intègre des api permettant d’interagir via des requêtes http.Ne vous réjouissez tout de même pas trop vite, chaque API est différente (REST (ou pas), SOAP (ou pas), LUA_API_QUEJESUISSEULEACOMPRENDRE(c), etc..)
Parce que s’il vous prend l’idée saugrenue (ou pas…) de faire discuter votre box Fibaro avec un RFXtrx branché sur votre VeraLite ou votre PC, vous allez y passer un peu de temps…

Ne soyez pas médisant, j’ai pris la solution la plus simple :D et ce n’est qu’un exemple très basique, j’aurais pu pousser le concept jusqu’à exiger que je puisse communiquer via mon smartphone avec Tasker qui appelle ma centrale MyFox, qui interroge le module fibaro relié à mon eedomus en fonction des sondes de températures dont les données remontent sur mon RFXCOM Lan en supposant que le module X10 relié à mon CM15 soit « on ».

why_trollcat

C’est complètement idiot, j’avoue, mais c’était un exemple un peu capillotracté du travail à fournir pour pouvoir faire discuter tout ses équipements entre eux.

Ne croyez pas que cela se borne à vos box domotiques, tout ceux qui ont un jour ajouter un serveur Asterisk pour gérer leur téléphonie a la maison se sont demandé « et comment que je discute entre ce serveur et ma box ???? »
Car oui mon bon monsieur, c’est la génération des objets connectés !!! Connectés, oui, mais à moi tout seul parce que le dialogue avec les autres, très peu pour moi !

Nous sommes tout les jours submergés de ces nouveaux objets qui doivent nous rendrent la vie plus facile, mais ne croyez pas qu’il va vous être facile de l’intégrer à votre monde, chacun parle sa propre langue et dans le terme « connecté » largement usité par les médias et les constructeurs, on parle rarement de communication, la faute à qui ?…

lol cat

Pour sauver ce petit monde de passionnés de domotique perdu dans les méandres d’un univers sourd et aveugle, il existe quand même des projets qui cherche à unifier ou interagir avec tout cela.

Nul besoin de vous présenter Imperihome qui risque fortement de devenir « LA » solution Android pour faire causer ensemble tout ça.

En protocole « natif », xPL (dont je suis un fervent défenseur :p (mais ça vous le savais déjà si vous êtes habitué de ce blog)), a du mal a se faire sa place malgré un concept simple et plutôt efficace.

Plus récemment, xAAL, prometteur, une grosse évolution de ce que l’on peut faire dans la communication des objets connectés et de la domotique en générale (quand on peut parler des copains :p  @jkxathome )

Bref, vous l’avez compris, quand on veut discuter simplement avec toutes nos passerelles domotiques ou nos objets connectés, cela devient vite très problématique parce qu’il faut tout changer selon avec qui vous souhaitez communiquer.

Dans mon billet précédent de cette « série », j’avais évoquer le fait que mon serveur domotique était une sorte de centralisateur des informations remontées par tout ce qui gravitait autout de lui.
Pour la communication, je suis partie du même constat.
Je ne veux pas m’adresser dans des langues différentes à chacun des périphériques, mais uniquement à une « porte d’entrée » et dans un langage compréhensible.

Un des exemples les plus démonstratifs est le dernier projet dont je vous avais fait part, api.domogeek.fr.
Vous envoyez une requête simple pour connaître une information basique et publique sans vous soucier des méthodes différentes d’appels uniques à chacune de ses informations (les dates de vacances scolaires, la vigilance météo etc…).

Dans votre environnement domotique, cela doit être la même chose.
Un point d’entrée unique, structuré, défini, qui se chargera de discuter ensuite dans le langage de chaque périphérique.

La meilleure façon de mettre cela en place est une API de type REST.

La mise en oeuvre est simple et à la portée de tous (surtout si vous avez décider d’utiliser un vrai langage comme python (troll inside).

Une fois déployé, il devient facile pour tout vos scripts, applications smartphones, etc… de faire appel à cette API pour communiquer avec vos équipements sans vous souciez de vous rappeler comment doit s’écrire la requête http vers tel ou tel module.

Prenons l’exemple du lancement d’une scène sur une VeraLite.

Si je dois interroger directement la VeraLite par http, ma requête ressemblera à cela :

http://vera:3480/data_request?id=lu_action&serviceId=urn:micasaverde-com:serviceId:HomeAutomationGateway1&action=RunScene&SceneNum=1

(facile à retenir, hein ? :p)

Imaginons maintenant que l’on écrive une simple fonction en python pour cela :

def setscene(device):
  url = 'http://vera:3480/data_request?'
  values = {'output_format' : 'text', 'id' : 'lu_action','serviceId': 'urn:micasaverde-com:serviceId:HomeAutomationGateway1', 'action' : 'RunScene', 'SceneNum' : device }
  try:
    data = urllib.urlencode(values)
    req = urllib2.Request(url+data)
    sendrequest = urllib2.urlopen(req)
    responsefromvera = sendrequest.read()
    if responsefromvera != "OK":
      return web.notfound()
      return "200 SUCCESS"
  except Exception, detail:
    print "Error ", detail

Maintenant, codons une API Rest toute bête (attention c’est du brut de fonderie bien crado) :

#!/usr/bin/python
# Gruik coded by GuiguiAbloc
import urllib, urllib2, web, re
def scenevera(device):
  url = 'http://vera.styx.net:3480/data_request?'
  values = {'output_format' : 'text', 'id' : 'lu_action', 'serviceId' : 'urn:micasaverde-com:serviceId:HomeAutomationGateway1', 'action' : 'RunScene','SceneNum' : device }
  try:
    data = urllib.urlencode(values)
    req = urllib2.Request(url+data)
    sendrequest = urllib2.urlopen(req)
    responsefromvera = sendrequest.read()
    if responsefromvera != "OK":
      return web.notfound()
      return "200 SUCCESS"
  except Exception, detail:
    print "Error ", detail
 
web.config.debug = False
 
urls = (
'/scene/(.*)', 'scenes'
)
 
render = web.template.render('templates/', globals={'re':re})
app = web.application(urls, globals())
 
class scenes:
  def POST(self,uri):
    request = uri.split('/')
    if request == ['']:
      return web.badrequest()
    if request[0]:
      device = request[0]
      try:
        result = scenevera(device)
        return "200 SUCCESS\n"
      except:
        web.notfound()
 
if __name__ == '__main__':
app.run()

Démarrez votre script (python monscript.py), il écoutera par défaut sur le port 8080 et lancer une requête http de type « POST » (avec surement le meilleur outil sous linux pour contruire des appels http de toutes sortes, cURL) :

curl -XPOST http://localhost:8080/scene/13

Et hop, magique, la scène 13 est lancée :)

Maintenant, vous avez une base de données MySQL (par exemple) dans laquelle vous stockez amoureusement toutes les valeurs de températures de vos sondes Oregon.
Interrogeons simplement la dernière valeur dans votre BDD de la même façon.

D’abord la fonction, on va imaginer que votre table « sensor » contient les colonnes « sensorRoom » qui défini le nom de votre sonde et « sensorValue », la valeur enregistrée :

...
import MySQLdb
...
def tempdb(ID):
  try:
    if ID == "salon":
      ID = "TempSalon"
    if ID == "exterieur" or ID == "dehors" or ID == "ext":
      ID = "TempExt"
    conn = MySQLdb.connect('localhost', 'mabase', 'login', 'motdepasse')
    cur = conn.cursor()
    cur.execute("SELECT sensorValue from sensor where sensorRoom='%s' ORDER BY idx DESC limit 1" % ID )
    result = cur.fetchone()
    return result[0]
 
  except MySQLdb.Error, e:
    print "Error %d: %s" % (e.args[0], e.args[1])
    return None
  conn.close()

On l’inclut dans notre API Python et l’on rajoute les appels :

...urls = (
'/scene/(.*)', 'scenes',
'/temp/(.*)', 'temp'
)
...
class temp:
  def GET(self,uri):
    request = uri.split('/')
    if request == ['']:
      return web.badrequest()
    if request[0]:
      room = request[0]
      try:
        result = tempdb(room)
        return result
      except:
        web.notfound()

On lance le tout et on fait un appel :

curl http://localhost:8080/temp/exterieur
16.5

C’est quand même plus simple, non ?

Voici 2 exemples basiques qui nous permettent de communiquer simplement via un point d’entrée à divers équipements de notre domotique.

Gardez le contrôle, toujours, de votre environnement. Quelque soit les objets, périphériques, modules communicants qui seront et feront la vie de votre domotique, il vous appartient de maîtriser la communication avec eux. Établissez un point d’entrée unique dont vous détiendrez la syntaxe et le langage sans devoir dépendre du bon vouloir d’un constructeur.
Changer de fournisseur ou de technos ne doit pas être plus dur que modifier quelques lignes de votre interface de communication sans revoir l’intégralité de votre interface web ou de votre application smartphone.

Et puisque je suis dans ma période lolcats sur ce billet…

161432646-1161414097812Amusez vous bien :D

Classé dans domotique | Taggé , , | 12 Commentaires
juil 03

DomoGeek, une API simple pour répondre aux questions simples

communication

A force d’utilisation de scripts et de scénarios domotique, je me suis rendu compte que des questions toutes simples avaient parfois du mal à trouver une réponse.

Prenons l’exemple d’un jour férié. Aujourd’hui est-il un jour férié ?

Cela peut paraitre idiot comme question, mais pour avoir la réponse, ce n’est pas si évident (en fait, c’est quand on travaille pas :p)

Pour un scénario domotique, ce genre d’information est importante (rien que pour gérer la surveillance ou le chauffage par exemple), et pour avoir la réponse, la plupart code un bon gros script qiu vas poller un google agenda dans lequel ils ont intégré le calendrier des jours fériés.

Maintenant, de quelle couleur est le jour TEMPO EDF ?

Pareil, on va coder des dizaines de lignes pour aller parser le site EDF et en ressortir la valeur.

Etc…

Bref, vous l’avez compris, à chaque fois, on doit, individuellement, écrire des scripts pour avoir des réponses à des questions toutes simples qui relève de l’information publique.

Et la je me suis dit, pourquoi ne pas offrir une simple API qui répond à ce genre de questions ?

J’ai soumis la question sur le forum de Toute la Domotique et les retours étant plutôt positif, je tente un petit POC pour voir si cela intéresse les gens.

Lancement donc de api.domogeek.fr :)

Pour le moment c’est pas du tout sec, ça ne répond qu’à 2 questions, jour férié et couleur Tempo, mais au fil du temps, je rajouterais d’autres fonctions (surtout si la demande se fait sentir :) )

Voilà l’idée que je pose là. Vous en faites ce que vous voulez (le code source est même disponible sur mon Github si vous voulez l’héberger sur votre RaspBerry par exemple), vous me dites si ça peut vous servir et surtout,

Amusez vous bien :D

Classé dans domotique | Taggé , , | 6 Commentaires