|
|
Show in normal design
|
Show personalized design!
Messages verbricken
16 Oct 2007, 11:28, 405
x viewed
Nine heeft er al een mooie blog over geschreven:
Another brick in the wall
Voordat iedereen nu weer komt vragen waarom hyves zich geen harddisks meer kan veroorloven van 250Gb de volgende extra uitleg over inbox-berichten en bricken
Hyvers genereren nogal wat berichten naar elkaar, wie niet, ik stuur ook veel email / berichten naar mijn vrienden.
Maar alle hyvers bij elkaar kunnen er echt wat van, we hadden in totaal bijna 95 miljoen berichten
Eigenlijk is het dus een klein wondertje dat dat allemaal in slechts 250Gb op disk past.
Iedere keer als je een berichtje in je inbox opent moeten wij dat ene berichtje in de grote brij van 95 miljoen berichten op zien te duiken. Dat werd steeds moeilijker en moeilijker.
Het wordt n.l. een steeds langere lijst met berichten waar we doorheen moeten zoeken op zoek naar dat ene bericht waar je nieuwe vlam zijn liefde verklaard
of uitmaakt 
Om dat op te lossen hebben we alle berichten verdeeld en staat er nu op iedere machine een klein stukje van de 95miljoen berichten.
Het gevolg: zoeken is sneller, dus je inbox is sneller.
En ook niet onbelangrijk, wij kunnen nu makkelijk doorgroeien naar 1 miljard berichten.
We hadden natuurlijk ook gewoon grotere servers kunnen bestellen, maar dan blijven we alleen maar langer zoeken in een steeds groter wordende brij aan berichtjes.
Dit leek ons een betere oplossing.
Met dank aan Roald die het merendeel van zijn nachtrust heeft opgeofferd om vannacht alle 95 miljoen berichten te verplaatsen naar de nieuwe servers zodat jullie er zo weinig mogelijk last van hadden. Hij kan nu wel wat slaap gebruiken
Ramon
Another brick in the wall
Voordat iedereen nu weer komt vragen waarom hyves zich geen harddisks meer kan veroorloven van 250Gb de volgende extra uitleg over inbox-berichten en bricken
Hyvers genereren nogal wat berichten naar elkaar, wie niet, ik stuur ook veel email / berichten naar mijn vrienden.
Maar alle hyvers bij elkaar kunnen er echt wat van, we hadden in totaal bijna 95 miljoen berichten
Eigenlijk is het dus een klein wondertje dat dat allemaal in slechts 250Gb op disk past.
Iedere keer als je een berichtje in je inbox opent moeten wij dat ene berichtje in de grote brij van 95 miljoen berichten op zien te duiken. Dat werd steeds moeilijker en moeilijker.
Het wordt n.l. een steeds langere lijst met berichten waar we doorheen moeten zoeken op zoek naar dat ene bericht waar je nieuwe vlam zijn liefde verklaard
of uitmaakt
Om dat op te lossen hebben we alle berichten verdeeld en staat er nu op iedere machine een klein stukje van de 95miljoen berichten.
Het gevolg: zoeken is sneller, dus je inbox is sneller.
En ook niet onbelangrijk, wij kunnen nu makkelijk doorgroeien naar 1 miljard berichten.
We hadden natuurlijk ook gewoon grotere servers kunnen bestellen, maar dan blijven we alleen maar langer zoeken in een steeds groter wordende brij aan berichtjes.
Dit leek ons een betere oplossing.
Met dank aan Roald die het merendeel van zijn nachtrust heeft opgeofferd om vannacht alle 95 miljoen berichten te verplaatsen naar de nieuwe servers zodat jullie er zo weinig mogelijk last van hadden. Hij kan nu wel wat slaap gebruiken
Ramon
 Forward
|
| Tags (i) | ||
| The owner of the photo/video/blog can see who posted the tag, and only friends are allowed to tag. Max. 10 tags per photo/video/blog. | ||
Comments
19 Oct 2007, 00:19
Hi,
Bij mij op m'n werk hebben we een hyper actieve Oracle DBA-guru.. Nu heb ik regelmatig discussie over het wel en wee van databases, vooral MS en Oracle natuurlijk, maar MySQL valt onder hetzelfde principe, is alleen meer gefocust op web applicaties, zoals Hyves.
Ik zat te denken dat jullie backup setup waarschijnlijk heel erg verschilt van een normale Enterprise database backup setup. Hoe belangrijk is het om data van een user te kunnen restoren? Hyves is fun, fun is pech als het weg is, maar maak maar meer fun. Dus ik vraag me af wat jullie met transaction logs doen, gebruiken jullie die uberhaupt? Dubbele load bij iedere actie? Gebruikt MySQL eigenlijk wel transaction logs?
Ik vraag het me gewoon allemaal af, omdat het van die tricky issues zijn, die flink performance kunnen kosten.
bricking is trouwens slim.. maar wat als volgens de huidige formule, alle grootverbruikers toevallig op dezelfde brick komen, dan vormt dat brick in een mum van tijd weer problemen, of passen jullie dan de formule weer aan? Is Quotering of Aging van berichten niet een volgende stap om te zorgen dat sommige bricks niet straks een issue gaan vormen? Eigenlijk zou je dan een kijkje in de keuken van Hotmail, Gmail of Yahoo mail willen nemen om te kijken hoe zij die vele GBs per user kunnen opslaan.
Ik zou het leuk vinden om hierover met jullie van mening te kunnen wisselen.
In ieder geval is hyves weer vreselijk snel en dat dankzij jullie.
Groeten,
Dennis
Bij mij op m'n werk hebben we een hyper actieve Oracle DBA-guru.. Nu heb ik regelmatig discussie over het wel en wee van databases, vooral MS en Oracle natuurlijk, maar MySQL valt onder hetzelfde principe, is alleen meer gefocust op web applicaties, zoals Hyves.
Ik zat te denken dat jullie backup setup waarschijnlijk heel erg verschilt van een normale Enterprise database backup setup. Hoe belangrijk is het om data van een user te kunnen restoren? Hyves is fun, fun is pech als het weg is, maar maak maar meer fun. Dus ik vraag me af wat jullie met transaction logs doen, gebruiken jullie die uberhaupt? Dubbele load bij iedere actie? Gebruikt MySQL eigenlijk wel transaction logs?
Ik vraag het me gewoon allemaal af, omdat het van die tricky issues zijn, die flink performance kunnen kosten.
bricking is trouwens slim.. maar wat als volgens de huidige formule, alle grootverbruikers toevallig op dezelfde brick komen, dan vormt dat brick in een mum van tijd weer problemen, of passen jullie dan de formule weer aan? Is Quotering of Aging van berichten niet een volgende stap om te zorgen dat sommige bricks niet straks een issue gaan vormen? Eigenlijk zou je dan een kijkje in de keuken van Hotmail, Gmail of Yahoo mail willen nemen om te kijken hoe zij die vele GBs per user kunnen opslaan.
Ik zou het leuk vinden om hierover met jullie van mening te kunnen wisselen.
In ieder geval is hyves weer vreselijk snel en dat dankzij jullie.
Groeten,
Dennis
dat verdient een bloemetje!