Goint to Antwerp by train

Going to Antwerp by train

Thursday February 2nd me and colleague Pim went to Antwerp by train to attend “Build an Open Source Cloud-Day, hosted by INUITS the following day.

The programme looked promising and I really looked forward to meeting David Nalley and Mark Hinkle from Citrix’ CloudStack. The last months we kept an eye onΒ  CloudStack: tested their current 2.2 release, and the 3.0 beta’s. Although we had CloudStack more or less up and running, there were still many questions to ask and many things to learn. This was a perfect opportunity for that.

Dinner at Brasserie Appelmans

Dinner at Brasserie Appelmans

But that would follow the next day. So we first decided to have some dinner in Antwerp. A friend of mine suggested Brasserie Appelmans and that really was a good suggestion! Service was friendly and nice also. πŸ™‚

Back in the hotel wifi wasn’t working. The reception didn’t know why (only got a link-local ip so probably DHCP problem). With some guessing and trying managed to get it to work. Assign yourself an ip in the 192.168.0/24 range, .1 as gw and you’ll be good to go πŸ˜‰

Crash Course on Open Source Cloud Computing

Crash Course on Open Source Cloud Computing

The following morning we went to the “Build an OpenSource Cloud“-event. Mark Hinkle kicked off with an interesting “Crash Course on Open Source Cloud Computing“. He showed us what a cloud really is, what OpenSource tools are available and what makes a cloud scalable. Scale up (add more compute nodes) and scale out (using loadbalancing). Mark talked about PaaS and IaaS, and listed associated Open Soure software solutions. I found it really interesting and refreshing to kick-off with such a broad overview of Cloud Computing!

Xen Cloud Platform

Xen Cloud Platform

Next, Lars Kurth told us all about Xen, Xen Cloud Platform and Citrix XenServer. A lot of hard work has been done in getting Xen into the Linux Kernel and in building Citrix XenServer from the OpenSource code, although a lot of work still needs to be done.

Both Citrix XenServer (the commercial supported version) and Xen Cloud Platform are supported by CoudStack and integrate nicely.

Build Your Cloud -CloudStack

Build Your Cloud -CloudStack

Lunch time!Β  Wow – we’ve had a really tasty lunch πŸ™‚ During lunch I had the opportunity to chat with David Nalley and Mark Hinkle about CloudStack and our experience with it so far. They kindly answered all of our questions and had some nice suggestions, too. It gave me the feeling CloudStack is the best choice for us. A good product and nice and friendly people behind it. Great! I’ll write in some more detail about CloudStack and our progress with the project in a later post. After lunch, David presented and demo’ed both the current and upcoming CloudStack release. Good news: CloudStack 3.0 release is targeted at the end of the month πŸ™‚

Automatic Configuration of Your Cloud with Puppet

Automatic Configuration of Your Cloud with Puppet

I’ve to be honest – the main reason to come was CloudStack and meeting up with David and Mark. But the other presentations added up a nice broad overview and even changed the way I look at building our Cloud. So that’s cool!

Carl Caum really impressed me with his Puppet presentation. He’s a pretty good presenter and came with solutions to problems that many sysadmin’s have: there’s a limit in how many servers you can manage by hand. Of course with some smart automation this number will go up, but it just isn’t scalable. And worse, the systems then aren’t always the same which may lead to unexpected trouble. Puppet is a system for automating system administration tasks that makes our life easier!

Puppet overview

Puppet overview

This is how it works: from a central location – Puppetmasterd – configuration of groups of servers is managed. Want to change a file, package or setting? Do it once, Puppet makes it happen, and makes sure it is always in that given state. So, you tell Puppet “what” you want, not “how”. It’s pretty cool stuff that I’ll look into in the coming weeks.

The presentations made me realize administering servers (VM’s) in the Cloud is very different compared to traditional sysadmin work. No longer you must think of servers as something that stays there all the time. VM’s should be spinned-off when needed and destroyed when no longer needed. For this to work, configuration and user-data must be separated from the VM itself. The loadbalancer has the public ip and decides how many VM’s are needed to handle the load. Via API calls it can deploy new VM’s. The VM therefore should be easy to re-deploy. Puppet & CloudStack together can do that! Now, that is true scaling-out.

David Nalley also presented some slides about Zenoss CoreMonitoring the Cloud with Zenoss Core“. There are three really cool things about it:

  1. it integrates nicely with CloudStack
  2. it has an API (whoohoo! Monitoring system with an API!)
  3. it is compatible with Nagios-plugins, so previous work in that area can be re-used.

To me, it seems this is gonna be our new monitoring system πŸ™‚

Devops the Future is Here

Devops the Future is Here

The final presentation was by Kris Buytaert from INUITS.

Kris had a really interesting talk about Devs (software development) and Ops (IT-Operations) and how the two should start working together. “DevOps” is an emerging set of principles, methods and practices for communication, collaboration and integration between the two.

Look here for all the details!

Snow in Antwerp

Snow in Antwerp

When we came outside there was a nice little surprise for us there.. All of Antwerp had become white! That was some sort of a challenge to get back to The Netherlands, since many trains were delayed or cancelled.

After having a nice dinner at Antwerp we managed to get a train and only 4 hours later we were home πŸ˜‰

It was an inspiring day and I’ve learned a lot. It motivates me to get our CloudStack cloud ready and implement it the way a Cloud is meant to be.

Thanks guys!

Alt-key in OSX-Terminal

30 January 2012 — 18 Comments

By default, the Alt-key doesn’t work in Mac OSX-Terminal. Today I found a simple solution for this problem:

Terminal > Preferences > Settings > Keyboard
Just check ‘Use option as meta key’ at the bottom and you’re good to go πŸ™‚

In augustus 2011 was het stroomverbruik van ons gezin (2 volwassenen en een zoon van bijna 1) 297kWh. Al enige tijd was ik de standen aan het bijhouden en zo’n 300kWh per maand vond ik simpelweg teveel. Twee dingen hebben geholpen om dit verbruik in 3 maanden tijd terug te brengen naar zo’n 180kWh: een besparing van 40%!

Dit is hoe we dat gedaan hebben:
1. Inzicht krijgen in hoeveel “sluipverbruik” er is
Hiervoor hebben we een Wattcher aangeschaft: dit apparaat geeft op 10 watt nauwkeurig aan hoeveel stroom er op een bepaald moment gebruikt wordt. Dus wordt er ‘s avonds als je op het punt staat naar bed te gaan nog 400 watt gebruikt dan weet je dat als je 7 uur slaapt je ‘s ochtends 7×400 = 2,8kWh verder bent. En dan heb je alleen geslapen πŸ˜‰

Inmiddels schommelt dit bij ons zo rond de 100 watt. Dit zijn dan hoofdzakelijk de vriezer en de koelkast.

2. Inzicht krijgen in hoeveel stroom per aparaat er gebruikt wordt
Om gedetailleerder te kunnen kijken is een goede energiemeter essentieel. Het liefst een die ook hele kleine waardes weergeeft. Wij hebben er een van GoGreen die vanaf zo’n 0,2 watt het goed weergeeft (bij de goedkopere varianten is dat 7 watt). Kleine waardes goed kunnen meten is met name handig om opladers en andere kleine sluipverbruikers in kaart te brengen.

Het sluipverbruik was in ons geval steeds tussen de 250 en 300 watt ‘s nachts. Na allerlei dingen gemeten te hebben bleek de 11 jaar oude koelkast een enorme hoeveelheid stroom te gebruiken. Totale kosten 120 euro per jaar. Die hebben we meteen door de gemeente laten ophalen. Voor 400 euro een A++ koelkast gekocht die slechts zo’n 20 euro stroom per jaar kost. Kortom: nieuwe koelkast (die toch een keer vervangen moest worden) verdient zichzelf in 4 jaar terug.

Ook hebben we de laatste gloei- en halogeenlampen de deur uit gedaan en alles vervangen door LED lampen. Bij LedItLight.net koop je mooie LED lampen waarmee je 90% energie bespaart.

Het zit echter ook in kleine dingen: de oplader van de tandenborstel bijvoorbeeld: 2,5 watt continue, of de tandenborstels er nu op staan of niet. Dat lijkt niet veel, maar kost per jaar toch 2,5 watt x 24 uur x 365 dagen /1000 = 22kWh Bij 23 cent per kWh is dit ruim 5 euro per jaar. Een oude tijdschakelklok heb ik ertussen gezet. Die gaat ‘s nachts een uur aan, voldoende op om te laden. Besparing: 23 van de 24 uur geen stroomverbruik. Tijdschakelaar kost een paar euro en is dus snel terugverdiend.

Met de energiemeter kun je alle apparaten in huis nagaan, op zien naar soortgelijke situaties. Je komt veel tegen en word je bewust van het verbruik.

Nu we onder de 200kWh per maand zitten moet het mogelijk zijn om voldoende te hebben aan de verwachtte 2.400 kWh opbrengst van onze zonnepanelen. Ben benieuwd!

Het leuke van publiceren waar je mee bezig bent is dat je feedback krijgt. Dat gebeurde ook met mijn korte stukje over Dstat gisteren. Reacties van een oud collega en collega beheerder hier uit Leiden. Leuk!

Pim tipte me Collectd: een daemon die allerlei statistieken verzamelt over een systeem en dit opslaat in RRD files. Helemaal leuk werd het toen hij erbij vertelde dat hij er zelf een front-end bij gemaakt heeft: Collectd Graph Panel (OpenSource). Gaaf!

Meteen maar eens uitgeprobeerd en het is allemaal simpel in te regelen en mooi om te zien.

Collectd installeren

aptitude install collectd

Ook Collectd Graph Panel is eenvoudig: tar downloaden, uitpakken, config nalopen en gaan! Het overzicht is wat prettiger dan onze oude Zabbix implementatie.

Diederik tipte Munin, dat ziet er interessant uit. Die tool ga ik binnenkort ook eens goed bekijken.

Waarom?
Monitoringtools (er zijn er vele) gebruik ik dagelijks om een goed beeld te houden op de verschillende systemen die we hebben draaien. Omdat er een nieuwe hardware/virtualisatie rivisie aankomt wil ik een goed beeld krijgen van de capaciteit die nodig is om alles vlekkeloos te laten lopen. Dit is ook het moment om de vergelijking met de cloud te maken. Deze tools helpen daar heel goed bij!

Vandaag een nieuwe tool ontdekt voor monitoren van de performance van Linux systemen: Dstat.Tot voor kort met vmstat bezig geweest. Dstat combineert vmstat met iostat, ifstat, netstat en meer. Alles bij elkaar in 1 oogopslag.

Dstat is een mooie tool waarmee je snel inzicht hebt. De output kan in een csv-file opgeslagen worden. Dit opent allerlei deuren om de data te analyseren.

Installeren is eenvoudig:

aptitude install dstat

Gebruik:

dstat –output dstat.log -d -m -p -g -s -n -N eth0,eth1 -c -C 0,1,2,3 5

Dit geeft elke 5 seconden een logregel in het csv-bestand.

Mooie grafieken kun je op deze pagina maken door je csv-file te uploaden. Maar voor wie wil kan er ook zelf iets van maken in OpenOffice πŸ˜‰