Spécialisation Cloud Computing

Aujourd'hui, les systèmes de cloud computing, qu'ils soient open-source ou utilisés au sein des entreprises, sont construits en utilisant un ensemble commun de techniques, d'algorithmes et de philosophies de conception, tous centrés sur les systèmes distribués. Apprenez les "concepts" fondamentaux de l'informatique distribuée pour le cloud computing, notamment : les nuages, MapReduce, les magasins key-value/NoSQL, les algorithmes distribués classiques, les algorithmes distribués largement utilisés, l'évolutivité, les domaines en vogue et bien d'autres choses encore !

Apprenez à connaître le fonctionnement de ces systèmes de l'intérieur. Mettez les mains dans le cambouis en utilisant ces concepts grâce aux exercices fournis. Dans les exercices de programmation, mettez en œuvre certains de ces concepts dans des modèles de code (programmes) fournis dans le langage de programmation C++. Une expérience préalable du langage C++ est requise. Le cours comprend également des entretiens avec des chercheurs et des gestionnaires de premier plan, issus de l'industrie et du monde universitaire. Ce cours s'appuie sur le matériel couvert dans le cours Concepts de l'informatique en nuage, partie 1.

Bienvenue au cours Applications de l'informatique en nuage, la première partie d'une série de deux cours conçus pour vous donner une vue d'ensemble du monde de l'informatique en nuage et des données massives (Big Data) !

Dans ce premier cours, nous couvrons une multitude de technologies qui constituent le concept moderne de l'informatique en nuage. Le cloud computing est une révolution des technologies de l'information qui vient de commencer à avoir un impact majeur sur de nombreux systèmes informatiques d'entreprise et qui va changer le visage de l'informatique dans les années à venir. Nous commençons la première semaine en introduisant quelques concepts majeurs du cloud computing, ses fondements économiques et nous introduisons le concept de big data. Nous abordons également le concept d'architectures définies par logiciel, la manière dont la virtualisation se traduit par une infrastructure en nuage et la manière dont les fournisseurs de services en nuage organisent leurs offres. Au cours de la deuxième semaine, nous abordons la virtualisation et les conteneurs de manière plus approfondie, avec des exposés sur Docker, JVM et Kubernates. Nous terminons la deuxième semaine en comparant l'offre d'infrastructure en tant que service des trois grands : Amazon, Google et Microsoft. La troisième semaine passe à un niveau supérieur d'offre de cloud, y compris la plateforme en tant que service, le backend mobile en tant que service et même les architectures sans serveur. Nous parlons également de certaines des technologies middleware du cloud qui sont fondamentales pour les applications basées sur le cloud, telles que RPC et REST, JSON et l'équilibrage de la charge. La troisième semaine couvre également le métal en tant que service (MaaS), où les machines physiques sont provisionnées dans un environnement cloud. La quatrième semaine introduit des services cloud de plus haut niveau, avec un accent particulier sur les services de stockage cloud. Nous présentons Hive, HDFS et Ceph en tant que systèmes de fichiers et de stockage de Big Data, puis nous passons aux systèmes de stockage d'objets dans le cloud, aux disques durs virtuels et aux options de stockage d'archives virtuelles. La semaine 4 et le cours se terminent par une discussion sur la solution en nuage Dropbox.

Bienvenue dans le cours Applications de l'informatique en nuage, deuxième partie d'une série de deux cours conçus pour vous donner une vue d'ensemble du monde de l'informatique en nuage et du Big Data ! Dans ce deuxième cours, nous poursuivons les applications de l'informatique en nuage en explorant comment l'informatique en nuage ouvre la voie à l'analyse des données d'énormes volumes de données statiques ou diffusées à grande vitesse et représentant une énorme variété d'informations. Les applications de l'informatique en nuage et l'analyse des données représentent un changement radical dans la manière dont la société est informée et utilise l'information. Nous commençons la première semaine en présentant quelques systèmes majeurs pour l'analyse des données, notamment Spark et les principaux cadres et distributions d'applications analytiques, notamment Hortonworks, Cloudera et MapR. Au milieu de la première semaine, nous présentons le système de fichiers distribué et robuste HDFS qui est utilisé dans de nombreuses applications comme Hadoop et nous terminons la première semaine en explorant le puissant modèle de programmation MapReduce et la façon dont les systèmes d'exploitation distribués comme YARN et Mesos supportent un environnement flexible et évolutif pour l'analyse des Big Data. Au cours de la deuxième semaine, notre cours présente le stockage de données à grande échelle et les difficultés et problèmes de consensus dans d'énormes magasins qui utilisent des quantités de processeurs, de mémoires et de disques. Nous discutons de la cohérence éventuelle, ACID, et BASE et des algorithmes de consensus utilisés dans les centres de données, y compris Paxos et Zookeeper. Notre cours présente les Distributed Key-Value Stores et les bases de données en mémoire comme Redis utilisées dans les centres de données pour la performance. Nous présentons ensuite les bases de données NOSQL. Nous visitons HBase, la base de données évolutive et à faible latence qui prend en charge les opérations de base de données dans les applications qui utilisent Hadoop. Enfin, nous montrons comment Spark SQL peut programmer des requêtes SQL sur des données volumineuses. Nous terminons la deuxième semaine par une présentation sur les systèmes distribués de publication/abonnement utilisant Kafka, un système de messagerie distribué qui est largement utilisé pour connecter les Big Data et les applications de streaming afin de former des systèmes complexes. La troisième semaine est consacrée au streaming de données rapides en temps réel et présente la technologie Storm, largement utilisée dans des secteurs tels que Yahoo. Nous poursuivons avec Spark Streaming, les architectures Lambda et Kappa, et une présentation de l'écosystème de streaming. La quatrième semaine est consacrée au traitement des graphes, à l'apprentissage automatique et à l'apprentissage profond. Nous introduisons les idées de traitement des graphes et présentons Pregel, Giraph et Spark GraphX. Nous passons ensuite à l'apprentissage automatique avec des exemples tirés de Mahout et de Spark. Kmeans, Naive Bayes et fpm sont donnés en exemple. Spark ML et Mllib poursuivent le thème de la programmabilité et de la construction d'applications. Le dernier sujet abordé au cours de la quatrième semaine présente les technologies d'apprentissage profond (Deep Learning), notamment Theano, Tensor Flow, CNTK, MXnet et Caffe sur Spark.

Dans le cours sur les réseaux en nuage, nous verrons ce que le réseau doit faire pour permettre l'informatique en nuage. Ce cours nous permettra d'explorer en profondeur les défis posés par les réseaux en nuage : comment construire une infrastructure réseau qui offre la souplesse nécessaire pour déployer des réseaux virtuels sur une infrastructure partagée, qui permette à la fois un transfert efficace des données volumineuses et une communication à faible latence, et qui permette aux applications d'être fédérées à travers les pays et les continents ? L'examen de la manière dont ces objectifs sont atteints ouvrira la voie au reste du cours, qui met l'accent à la fois sur les opérations et sur la logique de conception, c'est-à-dire sur la manière dont les choses fonctionnent et sur les raisons pour lesquelles elles ont été conçues de cette manière. Nous sommes impatients de commencer le cours avec vous et de jeter un coup d'œil sur ce qui est devenu l'infrastructure de communication essentielle pour de nombreuses applications aujourd'hui.

Remarque : vous devez avoir terminé tous les autres cours de cette spécialisation avant de commencer ce cours. Ce cours de projet de six semaines de la spécialisation Cloud Computing vous permettra d'appliquer les théories et techniques apprises pour le cloud computing dans les cours précédents de la spécialisation, notamment Concepts du cloud computing, partie 1, Concepts du cloud computing, partie 2, Applications du cloud computing, partie 1, Concepts du cloud computing, partie 2, et Mise en réseau dans le nuage.