Γενικές Πληροφορίες:

• Διδάσκων: Αμπελιώτης Δημήτρης, Επίκουρος Καθηγητής, Ιόνιο Πανεπιστήμιο
• Διδασκαλία: Το μάθημα διδάσκεται κάθε Παρασκευή 5-7 μ.μ. στην αίθουσα Ε2, νέο κτήριο ΤΜΗΥΠ
• Σύνδεσμος e-class: https://eclass.upatras.gr/courses/CEID1441/

Περιγραφή:

Εισαγωγή στη βελτιστοποίηση, κατηγορίες προβλημάτων βελτιστοποίησης, γενικά επαναληπτικά σχήματα, oracles μηδενικής, πρώτης και δεύτερης τάξης, αναλυτική και αριθμητική πολυπλοκότητα, φράγματα στην πολυπλοκότητα και ρυθμός σύγκλισης, βελτιστοποίηση χωρίς περιορισμούς, αναγκαίες και ικανές συνθήκες, μέθοδος πιο απότομης κλίσης (gradient descend), παραλλαγές του αλγορίθμου πιο απότομης κλίσης (stochastic, batch, mini-batch), επιτάχυνση του αλγορίθμου κλίσης (Nesterov acceleration), τεχνικές ορμής (momentum), μέθοδος Newton, μέθοδος quasi Newton, μέθοδος συζυγούς κλίσης (conjugate gradient), μέθοδοι ποινών (penalty function methods), θεωρία δυϊκότητας (duality). Εισαγωγή στο πρόβλημα της κατανεμημένης βελτιστοποίησης, αναπαραστάσεις γραφημάτων από πίνακες, το πρόβλημα συμφωνίας (consensus) σε δίκτυα, υπενθύμιση της μεθόδου των πολλαπλασιαστών Lagrange και μετασχηματισμός ενός προβλήματος σε κατανεμημένη μορφή, κατανεμημένος αλγόριθμος κλίσεων, κατανεμημένος αλγόριθμος στο δυϊκό χώρο (dual ascend), εισαγωγή στη μέθοδο Alternating Direction Method of Multipliers (ADMM), κατανεμημένος αλγόριθμος Newton, σύγχρονες και ασύγχρονες τεχνικές, μέθοδος Push-Sum. Τεχνικές ομοσπονδιακής μάθησης (federated learning). Κατανεμημένη παρακολούθηση (tracking) και σχήματα Adapt-then-Combine. Βελτιστοποίηση κυρτών μη-ομαλών συναρτήσεων κόστους, η μέθοδος υπό-κλίσεων (subgradient), η μέθοδος εγγύτατης κλίσης (proximal gradient), αλγόριθμος forward - backward. Κατανεμημένη βελτιστοποίηση μη-ομαλών συναρτήσεων κόστους, κατανεμημένες τεχνικές υπό-κλίσης, κατανεμημένες τεχνικές εγγύτατης κλίσης. Εισαγωγή στη θεωρία συμπιεσμένης καταγραφής (compressed sensing), αλγόριθμοι αραιής αναπαράστασης, εκμάθηση λεξικών, κατανεμημένη εκμάθηση λεξικών. Η μέθοδος ADMM, σύγχρονη και ασύγχρονη κατανεμημένη εκδοχή της μεθόδου. Εισαγωγή όρων κανονικοποίησης (regularization) και χαλάρωση, επιλογή κατάλληλου όρου κανονικοποίησης, νόρμα L1, πυρηνική νόρμα, συνολική διακύμανση (total variation), μοντελοποίηση σήματος με αραιή και χαμηλής τάξης συνιστώσα (low rank plus sparse). Εισαγωγή στην επεξεργασία σημάτων ορισμένων σε γραφήματα. Αλγόριθμοι βελτιστοποίησης για νευρωνικά δίκτυα μεγάλου βάθους.

Βιβλιογραφία:

• Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University Press
• Strang, Gilbert, "Linear Algebra and Learning from Data" Wellesley-Cambridge Press, 2018. ISBN: 9780692196380
• Rish Irina, and Genady Grabarnik, "Sparse modeling: theory, algorithms, and applications," CRC press, 2014.(διαθέσιμες διαφάνειες)
• Yu. Nesterov, "Introductory Lectures on Convex Programming Volume I: Basic course", July 2, 1998
• Stephen Boyd, Neal Parikh, Eric Chu, Borja Peleato and Jonathan Eckstein, "Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers," Foundations and Trends in Machine Learning, Vol. 3, No. 1 (2010) 1–122
• Neal Parikh, Stephen Boyd, Proximal Algorithms, Foundations and Trends in Optimization, Vol. 1, No. 3 (2013) 123–231
• Petar Djuric, Cédric Richard, Cooperative and Graph Signal Processing: Principles and Applications, 1st edition, Academic Press, 2018

Ανακοινώσεις:

• 17/2/2024: Τα μαθήματα για το ακαδημαϊκό έτος 2023-24 θα ξεκινήσουν την Παρασκευή 23/2/2024, διαδικτυακά μέσω Zoom, χρησιμοποιώντας το σύνδεσμο: https://ionio-gr.zoom.us/my/ampeliotis

Παρουσιάσεις (2022-23):

• Εισαγωγή και Διαδικαστικά
• Αλγόριθμοι Εγγύτατης Κλίσης
• Εισαγωγή στην Εκμάθηση Λεξικών
• Εισαγωγή στην Κατανεμημένη Βελτιστοποίηση
• Κατανεμημένη Βελτιστοποίηση - Μέθοδος ADMM
• Κατανεμημένες Τεχνικές Συμφωνίας