Με την διαφαινόμενη συστημική μετάβαση και μετατροπή της Οικονομίας της Γηραιάς Ηπείρου σε μία οικονομία δεδομένων, το ζήτημα της ασφαλούς διάδρασης των πολιτών με υπηρεσίες που βασίζονται στη χρήση δεδομένων για τη διαμόρφωση και προσφορά του προϊόντος τους γίνεται ολοένα και πιο επίκαιρο. Οι αρχές προστασίας δεδομένων ανά την Ευρώπη αποπειρώνται να αποτρέψουν τη δημιουργία νομικών κενών στην προστασία των δεδομένων των πολιτών, ώστε να διαφυλάξουν το Κράτος Δικαίου. Η απόπειρα αυτή μπορεί να δημιουργήσει καινοφανείς υποθέσεις, όπως συμβαίνει και με την υπόθεση της ιταλικής Αρχής Προστασίας Δεδομένων απέναντι στην OpenAI, η οποία σχολιάζεται στο παρόν άρθρο, και φαίνεται πως θα αποτελέσει την πρώτη από πολλές όμοιες υποθέσεις.
Η Υπόθεση
Με δελτίο τύπου στις 29 Ιανουαρίου 2024, η ιταλική Αρχή Προστασίας Δεδομένων (γνωστή ως επιτροπή Garante) ανακοίνωσε στην OpenAI ότι δέχθηκε επίσημα παράπονο με το οποίο υποστηρίζει ότι η εταιρία παραβιάζει, με την πλατφόρμα τεχνητής νοημοσύνης της ChatGPT, τη νομοθεσία της ΕΕ περί προστασίας προσωπικών δεδομένων, και συγκεκριμένα τον Γενικό Κανονισμό Προστασίας Δεδομένων. 10 μήνες νωρίτερα, και ειδικότερα στις 30 Μαρτίου του 2023, η Garante επέβαλε προσωρινή απαγόρευση της επεξεργασίας των δεδομένων των χρηστών στην OpenAI, αφού κατόπιν έρευνας που διεξήγαγε η Garante, κατέληξε στο συμπέρασμα ότι τα διαθέσιμα στοιχεία που συνέλεξε υποδηλώνουν την ύπαρξη παραβιάσεων των διατάξεων του Γενικού Κανονισμού Προστασίας Δεδομένων της ΕΕ.
Ο βασικός λόγος επιβολής των περιορισμών ήταν η αναφερθείσα παραβίαση δεδομένων αναφορικά με τις συνομιλίες των χρηστών του ChatGPT και τις πληροφορίες πληρωμών των συνδρομητών της υπηρεσίας. Η ιταλική αρχή τόνισε ότι δεν παρέχονται οι απαραίτητες από την ευρωπαϊκή νομοθεσία πληροφορίες στους χρήστες, των οποίων τα δεδομένα συλλέγονται από την OpenAI, ούτε φαίνεται να υπάρχει νομική βάση (όπως επιβάλλει το άρθρο 6 του ΓΚΠΔ) που να στηρίζει τη μαζική συλλογή και επεξεργασία προσωπικών δεδομένων προκειμένου να «εκπαιδευτούν» οι αλγόριθμοι στους οποίους βασίζεται η πλατφόρμα.
Ακόμη, η Επιτροπή συνέτεινε στο ότι υφίστανται πολυάριθμες ανακρίβειες στις πληροφορίες που παρέχει η πλατφόρμα, με αποτέλεσμα να υποβάλλονται σε επεξεργασία ανακριβή προσωπικά δεδομένα, γεγονός που αντιβαίνει στην αρχή της ακρίβειας των προσωπικών δεδομένων που μαζί με τις υπόλοιπες βασικές αρχές θεσμοθετούνται με το άρθρο 5 του ΓΚΠΔ. Τέλος, η Garante τόνισε ότι η έλλειψη οποιουδήποτε μηχανισμού επαλήθευσης της ηλικίας εκθέτει νεαρά άτομα σε περιεχόμενο που είναι απολύτως ακατάλληλο για την ηλικία τους, παρόλο που η υπηρεσία φέρεται να απευθύνεται σε χρήστες ηλικίας άνω των 13 ετών, σύμφωνα με τους όρους χρήσης της OpenAI.
Η απάντηση της OpenAI στους ισχυρισμούς έχει ως ακολούθως: «Πιστεύουμε ότι οι πρακτικές μας δεν παραβιάζουν τον Κανονισμό και άλλους νόμους περί απορρήτου και λαμβάνουμε πρόσθετα μέτρα για την προστασία των δεδομένων και της ιδιωτικής ζωής. Θέλουμε η Τεχνητή Νοημοσύνη να μαθαίνει για τον κόσμο, όχι για ιδιώτες. Εργαζόμαστε ενεργά για τη μείωση των προσωπικών δεδομένων κατά την εκπαίδευση των συστημάτων μας, όπως το ChatGPT, το οποίο επίσης απορρίπτει αιτήματα για ιδιωτικές ή ευαίσθητες πληροφορίες σχετικά με τους ανθρώπους. Σκοπεύουμε να συνεχίσουμε να συνεργαζόμαστε εποικοδομητικά με την Garante».
Η Garante επέβαλε στην OpenAI τη λήψη συγκεκριμένων μέτρων αποκατάστασης, και ειδικότερα: η εταιρία υποχρεούται να δημοσιεύσει στον ιστότοπό της την πολιτική απορρήτου για τους χρήστες και μη και τα δικαιώματα αυτών με βάση τον ΓΚΠΔ, για τα δεδομένα που συλλέγει και επεξεργάζεται με σκοπό την εκπαίδευση των αλγορίθμων. Επίσης, απαιτείται ρητή συγκατάθεση του υποκειμένου των δεδομένων για την χρήση, συλλογή και επεξεργασία των δεδομένων του (βάσει του άρθρου 6, παρ. 1 ΓΚΠΔ). Η ιταλική αρχή, επίσης, αναγνωρίζει τη δυσκολία συμμόρφωσης με ορισμένα δικαιώματα των υποκειμένων στο πλαίσιο της εκπαίδευσης και ανάπτυξης ενός μοντέλου ΤΝ, όπως είναι το δικαίωμα διόρθωσης (όπου είναι τεχνικά ανέφικτο να διορθωθούν ορισμένα ανακριβή δεδομένα). Προς τούτο η διαγραφή δεδομένων θα πρέπει να θεωρείται βιώσιμη εναλλακτική λύση της διόρθωσης.
Χορηγήθηκε δε στην OpenAI προθεσμία προκειμένου να υποβληθεί στην Garante σχέδιο συστήματος επαλήθευσης της ηλικίας των ανήλικων χρηστών κάτω των 13 ετών, καθώς και μεταξύ 13 και 18 ετών, για τους οποίους δεν έχει δοθεί έγκριση από τους ασκούντες τη γονική μέριμνα.
Το νομικό πλαίσιο
Τα συστήματα Τεχνητής νοημοσύνης έχουν εισβάλλει στη καθημερινότητά μας και εκπαιδεύονται μέσω της πρόσβασης σε μεγάλες ποσότητες δεδομένων που βρίσκονται στο διαδίκτυο και συχνά αποτελούν προσωπικές και ευαίσθητες πληροφορίες προσώπων – χρηστών του διαδικτύου. Προς τούτο ο Γενικός Κανονισμός Προστασίας Προσωπικών Δεδομένων (GDPR) ήρθε να ρυθμίσει την ανεξέλεγκτη συλλογή προσωπικών δεδομένων από τις εταιρείες επεξεργασίας αυτών και να επιβάλλει κυρώσεις σε περιπτώσεις παραβιάσεων των διατάξεών του.
Οι επιβεβαιωμένες παραβιάσεις του Κανονισμού μπορούν να επισύρουν πρόστιμα ύψους έως και 20 εκατομμυρίων ευρώ ή έως και 4% του παγκόσμιου ετήσιου κύκλου εργασιών, σύμφωνα με το άρθρο 83, παρ. 5 ΓΚΠΔ. Επίσης, οι αρχές προστασίας δεδομένων (ΑΠΔ) μπορούν να εκδώσουν εντολές που απαιτούν αλλαγές στον τρόπο επεξεργασίας των δεδομένων, προκειμένου να τερματιστούν οι επιβεβαιωμένες παραβιάσεις, γεγονός που δύναται να επιβάλλει σημαντικές αλλαγές στον τρόπο λειτουργίας της πλατφόρμας.
Εκ των βασικότερων αρχών που φαίνεται να παραβιάζεται στην ως άνω εκτεθείσα υπόθεση αποτελεί η αρχή της ακρίβειας των δεδομένων του άρθρου 5, παρ. 1, περ. δ’ του ΓΚΠΔ. Σύμφωνα με την αρχή αυτή, τα δεδομένα κατά το χρονικό διάστημα της επεξεργασίας θα πρέπει να είναι επικαιροποιημένα και ακριβή. Επιπλέον, θα πρέπει το υποκείμενο των δεδομένων να είναι ταυτοποιήσιμο για το χρονικό διάστημα που απαιτείται για τους σκοπούς της επεξεργασίας. Ιδιαίτερης σημασίας είναι η ακόλουθη έκφανση της αρχής της ακρίβειας, σύμφωνα με την οποία ο υπεύθυνος επεξεργασίας θα πρέπει να λαμβάνει τα κατάλληλα μέτρα ώστε να διαγράφονται και να διορθώνονται τυχόν ανακρίβειες στα δεδομένα προσωπικού χαρακτήρα, ώστε να μπορούν να συσχετιστούν καλύτερα με τους σκοπούς της επεξεργασίας.
Ακόμη, οι αλγόριθμοι τεχνητής νοημοσύνης ενδέχεται να επηρεαστούν από προκαταλήψεις που εμπεριέχονται στα δεδομένα που χρησιμοποιούνται για την εκπαίδευσή τους. Τούτο μπορεί να οδηγήσει σε διακρίσεις εις βάρος των ανθρώπων ή συγκεκριμένων ομάδων και σε άνιση μεταχείριση. Μπορεί δε να προκληθεί διασπορά και αναμετάδοση διαστρεβλωμένων και εσφαλμένων δεδομένων. Τυχόν αποτυχία διαφύλαξης των νομικών προβλέψεων που απορρέουν από την αρχή της ακρίβειας μπορεί να προκαλέσει έντονα φαινόμενα διάδοσης ψευδών ή ανακριβών πληροφοριών, διογκώνοντας αυτό το ήδη υπαρκτό σε μεγάλη κλίμακα πρόβλημα.
Τα συστήματα τεχνητής νοημοσύνης, όπως και αυτό που απασχόλησε την Garante, χρησιμοποιούν την μέθοδο της «Παραίσθησης» προκειμένου να απαντήσουν σε ερώτηση του χρήστη. Αυτό σημαίνει ότι τα συστήματα τεχνητής νοημοσύνης, όπως το ChatGΡT, συνθέτουν απλώς απαντήσεις από δεδομένα που έχουν ήδη εισαχθεί σε αυτά. Σύνηθες είναι το φαινόμενο να παρεμβάλλονται ανακρίβειες στα δεδομένα που εισάγονται σε συστήματα τεχνητής νοημοσύνης, με αποτέλεσμα την παραπληροφόρηση των χρηστών. Εδώ εντοπίζεται και ο πυρήνας του νομικού προβληματισμού χρήσης της ως άνω μεθόδου, καθώς ο ΓΚΠΔ, απαιτεί για το επιτρεπτό και το νόμιμο της επεξεργασίας να τηρείται η αρχή της ακρίβειας. Παραβίαση της εν λόγω αρχής καθιστά την επεξεργασία μη νόμιμη.
Η παραβίαση της εν λόγω αρχής δε συνιστά απλώς ένα «ευχολόγιο» του Ευρωπαίου νομοθέτη, αλλά συνδέεται με συγκεκριμένες έννομες συνέπειες. Οι σημαντικότερες έννομες συνέπειες αφορούν την περίπτωση επιβολής διοικητικού προστίμου από την αρμόδια εποπτική αρχή, σε περίπτωση παράνομης επεξεργασίας δεδομένων. Εν προκειμένω, η Garante επισήμανε την δυνατότητα που της απονέμεται από το άρθρο 83 του ΓΚΠΔ για επιβολή προστίμου, στην περίπτωση μη εμπρόθεσμης συμμόρφωσης. Τις συνέπειες αυτές συμπληρώνουν τα δικαιώματα των χρηστών προς επίρρωση της εις βάρος τους κατάστασης, ήτοι το δικαίωμα διόρθωσης του υποκειμένου των δεδομένων, δηλαδή το δικαίωμά του να απαιτήσει τη διόρθωση των ανακριβειών που εμφιλοχώρησαν στα δεδομένα του, από τον υπεύθυνο επεξεργασίας, όπως ορίζει το άρθρο 16 του ΓΚΠΔ, ενώ παράλληλα παρέχεται και το δικαίωμα να αιτηθεί την διαγραφή τους, κατά τους όρους του άρθρου 17 ΓΚΠΔ.
Κρίσιμο δε είναι το ζήτημα αν υπάρχει η δυνατότητα θεμελίωσης αξίωσης προς αποζημίωση του υποκειμένου των δεδομένων από την παραβίαση της αρχής της ακρίβειας από το σύστημα τεχνητής νοημοσύνης, όπως εν προκειμένω το ChatGΡT. Το άρθρο 82 του ΓΚΠΔ θεμελιώνει σχετικό δικαίωμα αποζημίωσης και ικανοποίησης ηθικής βλάβης του υποκειμένου των δεδομένων, εφόσον αυτή οφείλεται σε υπαίτια, από δόλο ή αμέλεια, παραβίαση των διατάξεων του κανονισμού από τον υπεύθυνο ή τον εκτελούντα την επεξεργασία. Απαραίτητη περαιτέρω προϋπόθεση είναι η ύπαρξη αιτιώδους συνάφειας μεταξύ παραβίασης και ζημίας. Πράγματι η παραβίαση της αρχής της ακρίβειας των δεδομένων συνιστά παραβίαση του ΓΚΠΔ, κατά την έννοια του άρθρου 82, πλην όμως αμφισβήτηση προκύπτει αναφορικά με τις υπόλοιπες προϋποθέσεις. Η αρχή της ακρίβειας μπορεί να μην παραβιάζεται πάντοτε από υπαίτια συμπεριφορά του υπευθύνου ή του εκτελούντος την επεξεργασία, αλλά μπορεί να οφείλεται σε σφάλμα στον αλγόριθμο του συστήματος τεχνητής νοημοσύνης. Περαιτέρω ερωτήματα εγείρονται και αναφορικά με την ύπαρξη αιτιώδους συνάφειας, καθώς σε αρκετές περιπτώσεις δεν προκύπτει άμεση αιτιώδης σχέση, αλλά έμμεση, με αποτέλεσμα να υπάρχει κίνδυνος να διευρύνεται υπερβολικά η εφαρμογή της διάταξης του άρθρου 82, σε σημείο που να υφίσταται πιθανότητα να αντιβαίνει η διεύρυνση αυτή στη βούληση του Ευρωπαίου νομοθέτη. Κατ’ ορθότερη άποψη, και για λόγους επιείκειας του δικαίου, θα ήταν ορθό να δεχτούμε την θεμελίωση μιας τέτοιας ευθύνης, ωστόσο λόγω του καινοφανούς χαρακτήρα της όλης προβληματικής, θα πρέπει να αναμένουμε την γνώμη που θα υιοθετηθεί ιδίως από το Δικαστήριο της ΕΕ, σε σχέση με την ερμηνεία του άρθρου 82 και την παραβίαση της αρχής της ακρίβειας από καθ’ αυτό σύστημα τεχνητής νοημοσύνης.
Επιπλέον, η Ευρωπαϊκή Ένωση με την ψήφιση και θεσμοθέτηση της AI ACT επιδιώκει να δημιουργήσει ένα νομικό πλαίσιο ασφαλείας και ακρίβειας ως προς την χρήση της τεχνητής νοημοσύνης, με έμφαση στην προετοιμασία για τις κοινωνικό-οικονομικές αλλαγές και την διασφάλιση ισχυρού ρυθμιστικού, δεοντολογικού και νομικού πλαισίου με στόχο την ενίσχυση της εποπτείας των ευρωπαϊκών αρχών και την ενίσχυση των παρεμβάσεών τους κατά την παρατήρηση επικίνδυνων φαινομένων παραβίασης των αρχών και των κανόνων από τις εταιρείες που προωθούν τα προϊόντα και τις λειτουργίες της τεχνητής νοημοσύνης, που μπορεί να προκαλέσουν και ακουσίως βλάβη. Η AI ACT προάγει κανόνες ακρίβειας, διαφάνειας και διαχείρισης ρίσκου για τα συστήματα ΤΝ και έχει ανθρωποκεντρικό χαρακτήρα.
Προβληματική ωστόσο μπορεί να χαρακτηριστεί η δυνατότητα επεξεργασίας δεδομένων για σκοπούς διασφάλισης της παρακολούθησης, ανίχνευσης και διόρθωσης σε σχέση με τα συστήματα ΤΝ υψηλού κινδύνου, όσο και η δυνατότητα αιτιολογημένης επανακατηγοριοποίησης ενός συστήματος υψηλού κινδύνου σε χαμηλού κινδύνου. Προς τούτο προβλέπονται απαιτήσεις για ακρίβεια, διαφάνεια και επεξηγηματικότητα με τη διατήρηση παράλληλα της ανθρώπινης εποπτείας επί των συστημάτων ΤΝ.
Σημαντικές νομοθετικές πράξεις προς συμπλήρωση των ως άνω κανόνων ασφαλείας, ακρίβειας και διαφάνειας είναι η Πράξη για τα Δεδομένα (DATA ACT), ο ελληνικός νόμος 4961/2022 για τις αναδυόμενες τεχνολογίες πληροφορικής, επικοινωνιών και ενίσχυσης της ψηφιακής διακυβέρνησης, η Digital Markets Act (DMA) και η Digital Services Act (DSA).
Περιπτωσιολογία
Η παραπάνω υπόθεση αποτελεί μέρος μιας ολοένα αυξανόμενης λίστας υποθέσεων σχετικών με παράνομη χρήση δεδομένων, που απασχολούν της αρχές προστασίας δεδομένων στην Ευρώπη. Μερικά παραδείγματα είναι τα παρακάτω:
Χαρακτηριστική είναι η απόφαση της Επιτροπής Προστασίας Δεδομένων της Ιρλανδίας για το πρόστιμο – ρεκόρ ύψους 1,2 δισ. ευρώ στη Meta (Facebook), λόγω διαβίβασης δεδομένων από την ΕΕ στις ΗΠΑ, κατά παράβαση του Άρθρου 46, παρ. 1 GDPR. Προσφάτως δε η Meta ανακοίνωσε ότι προτίθεται να χρησιμοποιήσει τις δημόσιες πληροφορίες των χρηστών του Facebook και του Instagram, προκειμένου να εκπαιδευτεί το νέο της εργαλείο ΑΙ, ώστε να παρέχει, όπως λέγεται, βελτιωμένη εμπειρία αναζήτησης και εύρεσης πληροφοριών. Οι χρήστες δε των εφαρμογών αυτών έχουν δικαίωμα να εξαιρεθούν από την παροχή των δημόσιων προσωπικών τους δεδομένων προς εκπαίδευση του AI της Μeta.Σε κάθε περίπτωση η Επιτροπή Προστασίας Δεδομένων θα παρακολουθεί τις εξελίξεις για τυχόν περιπτώσεις παραβίασης των αρχών του Κανονισμού, και ιδίως της ακρίβειας στην χρήση των δεδομένων.
Παράδειγμα αποτελεί, επίσης, το σκάνδαλο «toeslagenaffaire» στην Ολλανδία. Η Ολλανδική Κυβέρνηση χρησιμοποιούσε έναν αλγόριθμο τεχνητής νοημοσύνης που σκοπό είχε τον εντοπισμό προσώπων που είχαν διαπράξει απάτη για την λήψη επιδομάτων φροντίδας παιδιού. Ο αλγόριθμός αυτός λειτουργούσε μέσω της δημιουργίας δεικτών ρίσκου του συστήματος και οι αρμόδιες αρχές προέβησαν σε νομικές ενέργειες κατά πολλών οικογενειών, οι οποίες κλήθηκαν να επιστρέψουν τα επιδόματα, θεωρούμενες ότι έχουν διαπράξει απάτη εις βάρος του ολλανδικού κράτους. Ως στοιχείο του ρίσκου ο αλγόριθμος περιλάμβανε τη διπλή ιθαγένεια, το χαμηλό εισόδημα, την διαφορετική εμφάνιση με στοιχεία αλλοδαπότητας, χωρίς όμως την αντικειμενική θεμελίωση αποδείξεων για την διάπραξη απάτης. Τον Δεκέμβριο του 2021 η Ολλανδική Αρχή Προστασίας Δεδομένων επέβαλε στην ολλανδική φορολογική διοίκηση υψηλό πρόστιμο για την παράνομη και άδικη επεξεργασία δεδομένων, που βασίζονταν στην άνιση και άδικη μεταχείριση, και στην παντελή έλλειψη ακρίβειας.
Συμπερασματικά, και ενόψει πιθανής ανάδειξης ανάλογης περίπτωσης στην ελληνική έννομη τάξη, δυνάμει παρεμβάσεων της ελληνικής ΑΠΔΠΧ ανάλογων με τις ανωτέρω, κρίνεται άκρως απαραίτητη η αποτελεσματική διαφύλαξη της ευρωπαϊκής νομοθεσίας για τα προσωπικά δεδομένα. Η Ελλάδα θα πρέπει τάχιστα να φροντίσει την πλήρη εναρμόνιση με το υπάρχον πλαίσιο, προβαίνοντας και στις αντίστοιχες ενεργητικές παρεμβάσεις της αρμόδιας αρχής, καθώς η έμφαση στα δεδομένα θα αυξάνεται συνεχώς, και ταυτόχρονα θα αυξάνεται και ο κίνδυνος για την παραβίαση δικαιωμάτων των πολιτών – χρηστών που απορρέουν από την ύπαρξη των δεδομένων αυτών.
Ειδικά όσον αφορά τη διαφύλαξη της αρχής της ακρίβειας, στο πλαίσιο της χρήσης εξελιγμένων συστημάτων ΤΝ σε ευρεία κλίμακα, είναι βέβαιο πως αναδεικνύεται ως ζωτικός ο ρόλος των αρμόδιων αρχών, με διαφαινόμενη την ανάγκη για την ενεργή τους παρέμβαση προς το σκοπό αυτής. Η αρχή αυτή αποτελεί, άλλωστε, ένα ισχυρό νομικό θεμέλιο που μπορεί να αποτρέψει την έξαρση της παραπληροφόρησης μέσω αλλοίωσης ή ανακριβούς αποτύπωσης και διάδοσης πληροφοριών, που δύνανται μάλιστα να βλάψουν έντονα την προσωπικότητα των υποκειμένων των δεδομένων που αλλοιώνονται.
Η συστημική ερμηνεία του ίδιου του ΓΚΠΔ, όσο και του Ευρωπαϊκού κεκτημένου εν γένει, επιτάσσει τη διαρκή εγρήγορση των θεσμών που εγγυώνται την ακεραιότητα και την προστασία της προσωπικότητας κάθε Ευρωπαίου και κάθε ανθρώπου που ζει και δραστηριοποιείται στην Ευρώπη. Η στοχευμένη δράση των θεσμών αυτών, με σκοπό την διαρκή και απρόσκοπτη εφαρμογή της αρχής της ακριβείας στον σύγχρονο κόσμο της πληροφορίας, με τρόπο ώστε αυτή να αποτελεί το κρίσιμο θεσμικό αντίβαρο στην – σκόπιμη ή μη – παραπληροφόρηση, αποτελεί επείγον αίτημα, το οποίο οι αρμόδιες αρχές οφείλουν να λάβουν σοβαρά υπόψη.
Είναι πολύ σημαντικό Κράτος και Κοινωνία των Πολιτών να ενώσουν τις δυνάμεις τους, ώστε να διαφυλαχθεί η ορθή χρήση των δεδομένων μας, σε έναν κόσμο ο οποίος θα βασίζεται όλο και περισσότερο στην ύπαρξη και επεξεργασία τους.
* Ο κ. Γεώργιος Κοτλίδας είναι Δικηγόρος, Σύμβουλος Ινστιτούτου Rythmisis, LL.M Διεθνούς & Ευρωπαϊκού Δικαίου, MA Συστ. Φιλοσοφίας, MA (υποψ.) Στρατηγικών Σπουδών
Το άρθρο συνυπογράφει η συντακτική – ερευνητική ομάδα Rythmisis:
* Βασιλική Παπαλόη, Δικηγόρος Αθηνών, MSc Banking & Finance Law
* Ελπίδα – Σοφία Λογγινίδου, Ασκούμενη Δικηγόρος Θεσσαλονίκης, απόφοιτος Νομικής ΑΠΘ, LL.M (υποψ.) International Commercial & Trade Law at Maastricht University
* Παναγιώτης – Ηλίας Τζιτζιλής, Προπτυχιακός φοιτητής ΑΠΘ