Crisp's blog

Was het je wel eens opgevallen dat 'onze' tweakblogs eigenlijk best wel snel zijn? Toegeven: we bieden nog niet zoveel opties als vergelijkbare sites waar je je blog kan huisvesten, en het is erg 'kaal' vergeleken met een zelf gehoste WordPress, Movable Type of Typo al dan niet opgetuigd met vele plugins, maar het is wel snel, en het is zojuist nog sneller geworden!

De afgelopen week ben ik tussendoor wat bezig geweest met query-optimalisaties voor de tweakblogs. Zoiets begint doorgaans met het kijken op een aantal pagina's hoeveel queries er gedaan worden en hoeveel tijd die kosten. Daar hebben we een eenvoudige indicatie voor, en mischien is het je ook wel eens opgevallen in de statusbalk van je browser (vermits je browser die niet standaard onderdrukt):



Dat verdient wat uitleg:

'Server' staat voor de server die het request heeft afgehandeld. Zoals je misschien wel weet hebben we meerdere webservers in ons serverpark, en aangezien deze niet allemaal dezelfde hardware hebben is het soms wel handig te weten of het request werd afgehandeld door een relatief snelle of tragere server (hetgeen doorgaans overigens geloadbalanced wordt).

'Server time' staat voor de gehele tijd dat de betreffende webserver bezig was met het verwerken van de request. Dat omvat echter enkel de tijd dat PHP hiermee bezig was en niet de verwerkingstijd van Apache, maar dat laatste is meestal verwaarloosbaar aangezien de meeste processing door PHP wordt gedaan.

Dan staan er tussen haakjes nog wat vage aanduidingen en getallen, waarvan hier de officiële uitleg:

'C' staat voor de Computing time; oftewel de echte processing tijd van het request.
'Q' staat voor Queries, gevolgt door het aantal queries en de totale tijd die het de database koste om deze queries uit te voeren.
'M' staat voor Memcached, gevolgt door het aantal calls naar onze memcached server en de totale tijd die het koste om deze calls af te handelen.
'A' staat voor ActiveMQ; onze messaging implementatie om veelvuldige updates te aggregeren en op de achtergrond uit te voeren. Ook hier het aantal calls gevolgt door de tijd die het koste om deze calls uit te voeren.

Hoge waardes hier zijn voor ons natuurlijk altijd een trigger om meer onderzoek te doen, maar zo nu en dan kijken we ook eens of sommige dingen niet gewoon efficiënter kunnen zelfs als de totale tijd ruim binnen onze maatstaf (van max 0.1 seconde per request) ligt. Hiervoor hebben we ook een aantal tools tot onze beschikking die het mogelijk maken alle queries en memcached calls te loggen naar een tabel voor verdere analyse.

Bij de tweakblogs viel mij vooral het benodigde aantal queries per request op, en ook al waren dat stuk voor stuk kleine snelle queries nodigde dat toch uit tot een verder onderzoekje. Een index-pagina van iemands blog had al gauw 15 queries nodig, en dat liep al snel op tot boven de 20 bij een blog-artikel of een categorie-overzicht.

Hier waren 2 oorzaken voor aan te wijzen: in de eerste plaats werden het aantal reacties en de categorieën per post los opgehaald, en in de tweede plaats deden alle functies voor o.a. de sidebar-elementen hun eigen queries terwijl ze eigenlijk daarbij dezelfde data verwerkten, maar telkens op een andere manier.

Dat hebben we nu geaggregeerd naar een functie die vooraf in 1 keer alle benodigde data met betrekking tot de posts en de categorieën ophaalt en die 'op aanvraag' die data op maat kan aanbieden. Verder hebben we het opvragen van het aantal reacties zoveel mogelijk geprobeerd te combineren.

Dat heeft al geleid tot een behoorlijk vermindering van het aantal benodigde queries; op mijn blog index bijvoorbeeld van zo'n 18 queries naar 5* en op een blogpost pagina zoals deze van ongeveer 22 queries naar 8*. Door de interne cacheing en processing is wel de benodigde 'Computing time' toegenomen, maar dat weegt niet op tegenover de performance winst die behaald wordt op het reduceren van het aantal queries.

*o.a. afhankelijk van of je je eigen weblog bekijkt en/of je ingelogd bent

Maar ook clientside viel er nog wel wat te verbeteren qua performance. Zo werden er nogal wat JS en CSS bestanden ingeladen die niet of nauwelijks noodzakelijk waren. Dat is nu ook teruggebracht tot de basis wat tot deze prachtige score in YSlow resulteerde:



Jep, op een klein onbeduidend puntje na (we gzippen javascript al, dus minification zal weinig extra opleveren en de pagina's zijn al klein) een almost perfect score!

Last but not least heeft onze rob_erwt ook de mogelijkheden om je eigen tweakblog op te leuken flink uitgebreid (link alleen beschikbaar als je een tweakblog hebt)