Development of FPGA-based algorithms for the data acquisition of the Belle II pixel detector

Abstract

In this thesis, I present development details and test results for the ONSEN system, a novel real-time data-processing system that will perform an online reduction of the output data from the Belle II pixel detector. The Belle II experiment will be located at the future SuperKEKB electron-positron collider. With its 40 sensor modules, arranged in a two-layer barrel geometry directly around the beam pipe, the pixel detector will be Belle II´s innermost detector. It is subject to a harsh background environment, caused by its distance of only 14 mm from the interaction point and SuperKEKB´s unprecedented instantaneous luminosity of 8×10^35 cm^-2 s^-1. The read-out of its almost 8 million pixels takes approximately 20 microseconds, corresponding to about 5000 electron-positron bunch crossings. During this long integration time, hits in up to 3 % of all pixels will be accumulated, mostly stemming from background processes. The resulting output data rate will be close to 20 GB/s. The common data-acquisition system, used for all other Belle II subdetectors, was designed for much smaller rates and cannot be adapted to incorporate the pixel detector. An online data-reduction mechanism, based on regions of interest from a real-time event reconstruction, will be used to eliminate background hits from the pixel data and thereby reduce its size by a factor of 30 before it is put to permanent storage.The ONSEN system is responsible for the buffering of the complete pixel-detector data while the event reconstruction takes place, and for performing the filtering of pixels according to the regions of interest determined by two external systems. Its FPGA-based hardware platform is a development from the IHEP in Beijing, while the FPGA firmware performing the data-processing functions was designed at the University of Gießen. A large part of the ONSEN system´s firmware is a result from the work on this thesis. This includes: the co-design of the overall system architecture; I/O mechanisms for the data exchange with other subsystems of the data-acquisition chain, using different protocols; the buffering of the raw and processed pixel data in memory; and the parsing of data streams for the extraction of event information and data-integrity tests. To this end, code in a hardware description language was developed for the processor-based FPGA architecture, allowing the online monitoring and control of the implemented logic. Additional work was invested in the the commissioning and co-debugging of the hardware platform together with the developers from the IHEP.The pixel detector and Belle II data-acquisition systems impose various requirements on the performance of the ONSEN system, including a data throughput of almost 600 MB/s and a memory bandwidth of about 1 GB/s for every of the 32 modules performing the data reduction. The ONSEN system uses high-speed serial I/O links and low-level memory-controller interfaces to achieve these values. Small-scale tests show that the performance of the implemented logic surpasses the requirements, with a maintained input data rate of 621.6 MB/s and a memory bandwidth of up to 1683 MB/s. During tests of a pixel-detector module at the DESY test-beam facility, including the scaled-down Belle II data-acquisition system, more than 20 million events were recorded with the ONSEN system. An offline analysis of the data showed that the ONSEN system´s data processing logic performed stably and without errors for these events. Further changes to the firmware are required to scale the system up to its design architecture. Feasibility tests have shown that all components for the final system are in a working state, and the required changes to the firmware will not pose a problem.

In der vorliegenden Arbeit stelle ich Details zur Entwicklung und Ergebnisse von Tests des ONSEN-Systems vor. Dieses neuartige Echtzeit-Datenverarbeitungssystem wird eine Online-Reduktion der Ausgabedaten des Belle II-Pixeldetektors vornehmen. Das Belle II-Experiment wird sich am künftigen SuperKEKB Elektron-Positron-Collider befinden. Mit seinen 40 Sensormodulen, die in einer zweilagigen zylindrischen Geometrie um das Strahlrohr herum angebracht sind, wird der Pixeldetektor der innerste Detektor von Belle II sein. Er befindet sich im Einfluss von erheblichen Untergrundsignalen, verursacht durch seinen Abstand von nur 14 mm zum Wechselwirkungspunkt und der beispiellosen Luminosität von 8×10^35 cm^-2 s^-1, die SuperKEKB erreichen wird. Die Auslese der 8 Millionen Pixel des Pixeldetektors wird etwa 20 Mikrosekunden dauern, was ungefähr 5000 Kollisionen von Elektronen- und Positronen-Bunches entspricht. Während dieser langen Integrationszeit werden Treffer in bis zu 3 % aller Pixel angesammelt, die größtenteils auf Untergrundprozesse zurückzuführen sind. Die resultierende Ausgabedatenrate wird nahezu 20 GB/s betragen. Das vereinheitlichte Datenaufnahmesystem, das für alle anderen Subdetektoren von Belle II benutzt wird, ist für viel kleinere Datenraten entwickelt worden und kann für den Pixeldetektor nicht angewendet werden. Ein Online-Datenreduktionsmechanismus--basierend auf "Bereichen von Interesse", die bei einer Echtzeit-Ereignisrekonstruktion bestimmt werden--wird benutzt werden um Untergrundtreffer aus den Pixeldaten zu eliminieren und dadurch deren Größe um den Faktor 30 zu reduzieren, bevor sie permanent gespeichert werden.Zu den Aufgaben des ONSEN-Systems gehört die Zwischenspeicherung aller Pixeldetektor-Daten während die Ereignisrekonstruktion stattfindet sowie die Filterung der Treffer anhand von Bereichen von Interesse, die von zwei externen Systemen bestimmt werden. Seine FPGA-basierte Hardware-Plattform ist eine Entwicklung vom IHEP in Peking, während die FPGA-Firmware für die Datenprozessierung an der Justus-Liebig-Universität Gießen entworfen wurde. Ein großer Teil der Firmware für das ONSEN-System ist im Rahmen der Arbeit an dieser Dissertation entstanden. Neben der Mitarbeit an der Konzeption des Gesamtsystems gehören dazu Mechanismen für den Datenaustausch mit anderen Teilen der Datenaufnahmekette unter Verwendung von verschiedenen Protokollen, das Puffern von Rohdaten und prozessierten Daten, und die Analyse von Datenströmen zur Extraktion von Ereignisinformationen und der Verifizierung der Datenintegrität. Zu diesem Zweck wurde Quellcode in einer Hardwarebeschreibungssprache für die prozessorbasierte FPGA-Architektur entwickelt, die die Überwachung und Steuerung der implementierten Logik erlaubt. Weitere Arbeit wurde bei der Inbetriebnahme und Fehlerbehebung der Hardware-Plattform gemeinsam mit den Entwicklern am IHEP geleistet.Der Pixeldetektor und das Datenaufnahmesystem von Belle II stellen verschiedene Anforderungen an die Leistung des ONSEN-Systems, darunter ein Datenfluss von fast 600 MB/s und eine Speicherbandbreite von etwa 1 GB/s bei jedem der 32 Module, die die Datenreduktion vornehmen. Um diese Werte zu erreichen verwendet das ONSEN-System serielle Hochgeschwindigkeitsverbindungen und hardwarenahe Speichercontroller-Schnittstellen. Tests der implementierten Logik haben gezeigt, dass diese sämtliche Anforderungen übertrifft und eine durchgängige Datenrate von 621,6 MB/s und eine Speicherbandbreite von bis zu 1683 MB/s erreicht. Während eines Tests des Pixeldetektors am DESY-Teststrahl, bei dem auch ein Prototyp des Belle II Datenaufnahmesystems zum Einsatz kam, wurden mehr als 20 Millionen Ereignisse mit dem ONSEN-System aufgenommen. Eine Analyse der Daten zeigte, dass die datenprozessierende Logik des ONSEN-Systems bei diesen Ereignissen stabil und fehlerfrei arbeitete. Weitere Änderungen an der Firmware sind nötig, wenn das System zum vorgesehenen Format skaliert wird. Machbarkeitsstudien haben gezeigt, dass alle Komponenten für das finale System einsatzbereit sind, sodass die nötigen Anpassungen kein Problem darstellen werden.