Μία από τις μεγάλες επιθυμίες του Φιντέλ Κάστρο ήταν να έρθει στην Αθήνα το 2004 για να παρακολουθήσει από κοντά τους Ολυμπιακούς Αγώνες του 2004. Μια επιθυμία που όμως δεν εκπληρώθηκε.
Ο Κάστρο είχε μεγάλη αγάπη για τον αθλητισμό και η Αβάνα είχε μεταφέρει στην Αθήνα την επιθυμία του να έρθει να δει από κοντά την κορυφαία αθλητική διοργάνωση. Η τότε ελληνική κυβέρνηση υποστήριζε ότι απλώς δεν είχε καταρτιστεί η λίστα με τους προσκεκλημένους ηγέτες. Όμως, η βίζα του Κάστρο δεν εκδόθηκε ποτέ, σύμφωνα με δημοσίευμα της «Καθημερινής».
Το ελληνικό υπουργείο Εξωτερικών ήταν δεσμευμένο από τις διπλωματικές υποχρεώσεις που είχε η Ελλάδα να τηρήσει το εμπάργκο που είχε επιβάλλει η Ευρωπαϊκή Ένωση στην Κούβα.
Τελικά, μαζί με την αποστολή των 150 Κουβανών αθλητών για τους Ολυμπιακούς Αγώνες του 2004, ήρθε ένας Κάστρο, αλλά όχι ο Φιντέλ: ήταν ο γιος του, Αντόνι, που ήταν ορθοπεδικός της εθνικής ομάδας μπέιζμπολ της Κούβας.
Τελευταία φορά που ο Κάστρο είχε παραστεί σε Ολυμπιακούς Αγώνες ήταν το 1992 στη Βαρκελώνη.
