IT. Horror księgowych. Dział zesłany przez boga, aby uprzykrzać życie dla osób odpowiedzialnych za rozliczenia. Tylko koszty i żadnych perspektyw, aby je zmniejszać. IT jest jak czarna dziura dla pieniędzy, jak nienażarta bestia plądrująca konta bankowe firmy, jak swego czasu hrabia Dracula małe rumuńskie wioski… Tak, więc pewnego dnia, po kolejnej potyczce z kolejnym zarządem zastanowiliśmy się z kolegą nad tym jak można to zmienić. Tak, aby obie strony były w miarę zadowolone.

Nasze rozważania dotyczyły stworzenia relatywnie taniej, bezpiecznej, wygodniej i szybkiej w zarządzaniu infrastruktury IT dla małej firmy tworzącej oprogramowanie, z lekkimi zapędami hostigowymi (no potrzeby własnych projektów). Dodatkowo dotknęliśmy wiecznego sporu w branży IT – w swojej serwerowni czy w zdalnej… Tak, więc stworzyliśmy sobie pewne założenia projektowe:

  • Sprzęt z gwarancją producenta on-site – Serwery z gwarancją NBD.
  • Energooszczędność – Mniejsze koszty utrzymania.
  • Klastrowanie HA – Zdecydowaliśmy się na użycie VMware vSphere 5 Essentials Plus.
  • Nadmiarowość infrastruktury – 2 przełączniki, 3 serwery, macierz z dwoma kontrolerami
  • Backup – zastosowanie taniej pamięci NAS z dyskami SATA o dużej pojemności.

Wszystko to mamy zamiar hotelować w jednej z dostępnych na rynku data center. Koszt budowy własnej serwerowni jest ogromy. To nigdy się nie opłaca, gdy robi się coś na małą skalę. Co więcej, nawet koszt adaptacji jakiegokolwiek pomieszczenia pod tak zwany „Server room” jest dosyć kosztowne. Trzeba je wynająć, zazwyczaj przerobić instalację, zawiesić klimatyzator, zakupić UPS, szafę serwerową itp. itd. Dodatkowo trzeba by pomyśleć o łączach, najlepiej od dwóch operatorów, z BGP. Na końcu routery, też dwa. To już są zdecydowanie większe pieniądze. Routery dla mikro instalacji można kupić za 9322,10 zł za sztukę… Juniper J2320-JH to małe urządzenie, które pozwala na uruchomienie BGP oraz obsługuje HA. Nadaje się ono idealnie to takich mikro instalacji. Oszacowaliśmy, że potrzebujemy na początku 30Mbs. Przy tak małym wolumenie z peelingiem do wszystkich łącze potrafi kosztować około 100zł za MBps. Oczywiście zależy to od lokalizacji, ale w naszym przypadku koszt oscylował w tym zakresie. Tak, więc łącze będzie kosztować około 3000 zł miesięcznie. To nie są wszystkie koszty. Dochodzi prąd na te urządzenia, oraz koszt przeglądu klimatyzacji – wypadałoby to robić dwa razy do roku ze względu na ciągłość jej pracy. Dodatkowo czas uruchomienia jest stosunkowo długi, a godziny personelu poświęcone na nadzorowanie, montaż sprzętu i konfigurację sprzętu sieciowego przekracza granice przyzwoitości. Podsuwanie kosztów jednorazowych w tabelce poniżej:

Oraz kosztów miesięcznych:

Platformę sprzętową postanowiliśmy oprzeć o produkty DELL. Przyznam, że zrobiliśmy to z czystego wyrachowania i wygody. Sprawa jest prosta od lat pracujemy na produktach DELL i przywracaliśmy się do ich logiki. Po drugie nowa seria serwerów R jest bardzo energooszczędna i po trzecie gwarancja, na którą naprawdę można liczyć.

Tak, więc zdecydowaliśmy się na trzy serwery DELL R610 wyposażone w dwa, sześciordzeniowe procesory Intel Xeon E5645, dwa dyski SAS 73GB działające pod kontrolą RAID1, oraz 64GB RAM. Serwery te zapewnią wystarczającą wydajność jednocześnie nie przekraczając vRAM Entitlement wersji vSphere Essential Plus. Trzy sztuki zapewnią nam nadmiarowość w klastrze VMware HA, oraz możliwość nieinwazyjnego przeprowadzania serwisu poprzez „Maintenance mode”.

Podczas wyboru macierzy zastanawialiśmy się nad różnymi modelami z oferty DELL’a. Zważywszy na nasze założenie o relatywnie niedrogiej infrastrukturze rozważaliśmy tylko platformy oparte na iSCSI. Bardzo ciekawe są macierze firmy Equalogic, ale ich cena potrafi zniechęcić. Poza tym przy niedużych rozmiarach tego projektu byłby to przerost formy nad treścią. Maszyny wirtualne działające na tej macierzy będą niejednokrotnie serwerami bazodanowymi, a co za tym idzie będą wykonywały dużo operacji IO. Dyski SATA, kuszące pojemnością w tym wypadku niestety odpadły w przedbiegach… Wybraliśmy macierz iSCSI PowerVault MD3220i wyposażoną w 12 szt. 600GB dysków SAS 10K. Dzięki ustawieniu jej w RAID10 uzyskamy 3,6TB bardzo szybkiego zasobu dyskowego.

Sieć będą tworzyć nam dwa zestackowane przełączniki PowerConnect 6224, które są dedykowaną przez Della platformą do rozwiązań iSCSI. Najśmieszniejsze jednak jest to, że nie zaleca się w nich włączać wsparcia dla iSCSI. Najwidoczniej coś im jeszcze nie do końca wyszło oprogramowanie 🙂

Miejsce na backupy będzie serwowane przez urządzenie NAS – QNAP TS-459U wyposażony w 4 dyski twarde Seagate Constellation ES.2 3TB puszczone w RAID5 dając 9TB użytkowej przestrzeni. Szczegóły w tabeli poniżej:

Tak jak wspominałem zdecydowaliśmy się na umieszczenie serwerów w zdalnym data center. Wybraliśmy Olsztyńską firmę Sprint Data Center (https://www.sprintdatacenter.pl). Dlaczego? Szczerze powiedziawszy to nie wiem… może dlatego, że mają bardzo wygodny kalkulator na stronie 🙂 Dodatkowo oferują oni możliwość rozgłaszania naszego BGP na swoich routerach i podawania go nam w formie czystej w VLANIE do obu przełączników… rozwiązanie idealne bo nie musimy wydawać nic na routery.  Po szybkich obliczeniach wyszło, że platforma nie powinna pożerać więcej niż 1200W. Po podliczaniu wysokości U infrastruktura zamyka się w 8U. Tak, więc koszty utrzymania:

Przyjmijmy, że cała instalacja ma działać przez czas gwarancji. Tak, więc wszystkie koszt stałe należałoby podzielić przez 36. Poza tym łatwiej nam będzie liczyć koszty w perspektywie jednego miesiąca niż kilku lat:

Reasumując koszty obu rozwiązań:

Powyższe podsumowanie jest raczej jasne. Dodatkowo warto zauważyć, że z własną serwerownią jest jak z domem. Wydaje nam się nam, że będzie różowo – raz się zbuduje i już będzie służyć przez lata bez najmniejszych napraw. Prawda jest jednak nieco bardziej mroczna. Dom, czy serwerownia wymaga dużo wysiłku przy utrzymaniu… Codzienne poranne wycieczki do serwerowni celem sprawdzenia czy wszystko gra – czy nie cieknie klimatyzacja, czy jedna z zapchanych rur kanalizacyjnych (bo ja powszechnie wiadomo najlepsze serwerownie znajdują się w starych łazienkach) nie wystrzeliła fundując nam powódź itd. Dodatkowo za każdym razem, gdy instalujemy jakieś nowe urządzenie musimy przedzierać się przez misternie poukładane wiąchy kabli, szukać nowego miejsca na podłączenie zasilania a to pożera czas, czas, czas! A czas IT kosztuje…

Można sobie tłumaczyć tworzenie własnej serwerowni tym, że po 3 latach zwróci się nam inwestycja. Oczywiście to prawda, zauważmy jednak, że po 3 latach będziemy właścicielami starego zużytego UPS’a, dwóch mało wydajnych routerów, wiązek kabli, klimatyzatora i szafy serwerowej. Świetnie… inwestycja życia.

Zdalne Data Center ma również jeden niedoceniany, ale jednak niesamowity plus – odsunięcie od siebie problemów. Gdy kupujemy usługę hotelową to nie interesuje nas łącze ani prąd, wszystkim zajmuje się firma hostingowa, a my zajmujemy się administrowaniem. Wydaje się, że poniekąd uzależniamy się od jednej firmy… ale jest dokładnie tak samo kiedy robimy to u siebie. Co więcej jesteśmy zdecydowanie mniej przygotowani na wszelkiego rodzaju awarie. Nie mamy agregatu, oni mają, nie mamy dwóch galwanicznie odseparowanych traktów energetycznych, oni mają. Nam może uda się mieć dwóch operatorów, oni mają kilku. Dodatkowo warto wybrać sobie takie data center które można odwiedzić – sprawdzić czy to co piszą na stronie to prawda, żeby nie wylądować w hostowni u jednego z cygańskich króli 😉

Generalnie z naszych małych obliczeń i dyskusji można wyciągnąć klika wniosków. Otóż taniej, wygodniej i bardziej niezawodnie jest w zdalnym data center.  Szycie sobie serwerowni na miarę jest stosunkowo drogie i nie daje nam poczucia niezawodności na poziomie profesjonalnych centrów danych… Wybór i tak należy do Was. Jednak ja po policzeniu kosztów jestem w stanie wyrzucić do śmietnika moje szczeniackie marzenie o serwerowni, czarnych ekranach, macierzach i głębokiej hakerce na rzecz świętego spokoju, niezawodności, wygody i mamona wszechmogącego.

PS. Wszystkie ceny są podane w przybliżeniu i w wartościach katalogowych… na pewno uda się uzyskać na coś zniżkę.

About the author

Bloger i niezależny konsultant z wieloletnim doświadczeniem w branży IT. Specjalizujący się w wirtualizacji i cloud computingu. Posiada tytuły MCP, MCTS, VCP oraz VMware vExpert.
3 Responses
  1. Witam,

    Pozwole sobie na kilka uwag do powyzszego:

    1. RAID10 z 12 dyskow 600GB nie da Ci 6TB tylko (teoretycznie) 3.6TB, realnie ok 3TB
    2. MD3220i wydaje sie nie byc najoptymalniejszym rozwiazaniem z powodu ceny – dyski 2.5″ sa drozsze od 3.5″ i wieksze pojemnosci nie sa dostepne w 15k.
    Poza tym wez pod uwage ograniczenie wydajnosci iSCSI po stronie hosta? Ile portow GbE w R610 masz zamiar przeznaczyc na vmkernel? Proponowalbym zastanowic sie nad MD3200 (shared SAS 3.5″). Mozesz zalozyc redundantne kontrolery – mozliwosc obslugi do 8 hostow lub do 4 w HA.
    3. Jesli robisz konfiguracje „szkocka” to proponuje wywalic z R610 H700+2x72GB i posadzic ESXi na kartach SD, ew. DVD tez mozna wywalic.
    4. Backup na NASa moim zdaniem nie jest dobrym pomyslem. Nie zabezpiecza przed fizycznym uszkodzeniem serwerowni. Poza tym jak masz zamiar backupowac dane? Chcesz uzyc jakiegos softu 3rd party? Licencje? „Prawdziwy” backup to wciaz zrzut na tasmy… a obsluga tasm w zdalnym DC moze byc utrudniona i generowac dodatkowe koszty nie mowiac o ew. offsite storage’u.

  2. ml

    1. Faktycznie. Mój mały błąd, w głowie liczyłem dla 12 dysków RAID6…
    pozwolisz że poprawię w tekście.

    2. Masz trochę racji, ale dyski są droższe o jakieś 200-300 zł. Co do
    prędkości to się zgadza tylko 3’5″ są w 15K, ale do tej macierzy można
    ich wsadzić niestety tylko 12, a to trochę za mało, żeby można było w
    przyszłości dorzucić klika na wszelki wypadek.

    2,5. W R610 są 4 fizyczne interfejsy z których 2 przeznaczyłbym tylko dla vmkernel, według moich obliczeń macierz nie
    powinna przekraczać tej prędkości.

    3. Co do DVD to prawda, natomiast karty SD… nie wiem, nie mam z nimi doświadczenia, to nie jest przypadkiem tak że one mają klika cykli zapisu, a potem padają? Poza tym RAID da się na nich uruchomić?

    4. Backup na nas za pomocą VCB i wbudowanych mechanizmów w aplikacje. Taśmy za drogie są niestety. Myślałem dodatkowo o kopiowaniu backów do lokalizacji zdalnej dodatkowo.

  3. Witam,

    Także pozwolę sobie dorzucić kilka zdań od siebie.

    W kwestii omawianego tutaj backupu, to w większych centrach danych można czasami „kupić” powierzchnię na backup. Tylko wtedy trzeba się dobrze zastanowić, czy danych przypadkiem nie należałoby szyfrować przed wysłaniem – IMO silnie zależy to od charakteru i wrażliwości informacji. Rozwiązanie dużo mniej elastyczne od tasiemek, ale bardziej oszczędne kosztowo i zapewniające namiastkę backupu off-site.

    Poza tym – przy obecnej ofercie TP (Neostrada 20Mbps za grosze), można przecież robić backup off-site do domu :-)))

    I jeszcze argument pół-techniczny: Zdalne centrum danych ma „lepszy” prąd, klimatyzację, kontrolę dostępu, grubsze ściany, zazwyczaj monitoring i wiele innych, bardzo przydatnych cech, o które zawsze pytają wszelkiego rodzaju audyty IT. A to jest czasami dość ważny element całości.

Leave a Reply