Zarządzanie Big Data w ośrodku badań jądrowych CERN

Gdyby Europejska Organizacja Badań Jądrowych (CERN) chciała archiwizować wszystkie dane wytwarzane przez Wielki Zderzacz Hadronów, jej system przechowywania informacji o pojemności 100 petabajtów zapełniłby się już w ciągu kilku sekund. Dlatego – jak wyjaśnia w kolejnym odcinku Rozmów Otwartej Nauki dr Tim Smith, szef działu współpracy i informacji w CERN – proces przetwarzania danych w przypadku największego na świecie akceleratora, jakim jest WZH, zaczyna się już na poziomie samych detektorów.

Smith opowiedział nam o stosowanych w podgenewskim ośrodku rozwiązaniach, które pomagają naukowcom optymalizować ich prace badawcze, sposobach na bezpieczne długoterminowe przechowywanie danych, powodach, dla których warto je udostępniać, a także o tym, czy wyniki badań prowadzonych przez CERN znajdują zastosowanie poza fizyką molekularną.

Przechowywane przez nas dane to tylko ułamek wszystkich danych wytwarzanych w Wielkim Zderzaczu Hadronów – wyjaśnia Smith. Poruszające się w przeciwnych kierunkach cząsteczki zderzają się ze sobą 14 milionów razy na sekundę. Z kolei każdy detektor składa się z około 150 milionów czujników. Jeśli więc pomnożymy przez siebie te dwie wielkości, to otrzymujemy petabajty danych na sekundę wytwarzanych przez detektory. Nie ma możliwości, by przechować ani zanalizować taką ilość danych. W związku z tym proces przetwarzania danych zaczyna się już w samych detektorach. Stworzyliśmy odpowiednio zaprogramowany filtr umożliwiający ograniczenie ilości danych z petabajtów na sekundę do terabajtów na sekundę.

Dane te są następnie przekazywane do połączonych sekwencyjnie komputerów, na których tysiące procesorów przetwarzają je w czasie rzeczywistym, odsiewając najbardziej interesujące przypadki i redukując w ten sposób strumień danych z terabajtów do gigabajtów na sekundę.

Obejrzyj całą rozmowę z dr. Timem Smithem z CERN.

Zobacz inne odcinki cyklu Rozmowy Otwartej Nauki.

Szczegóły

Utworzono: 2015-07-09

Maciej Chojnowski