大規模データを分散並列処理するオープンソース基盤Apache Hadoop
Apache Hadoop の説明として「大規模なデータセットを分散処理するためのソフトウェアライブラリ」が適切です。 Apache Hadoop は、ペタバイト級などの巨大なデータセット(ビッグデータ)を多数のコモディティ(安価な汎用)サーバーからなるクラスタで効率的かつ耐障害性を保ちながら分散蓄積・並列処理するためのオープンソースフレームワークです。
主に以下の主要コンポーネントで構成されます:
- **HDFS(Hadoop Distributed File System)**: 大容量データをブロック単位で複数のノードに冗長分散して格納するファイルシステム
- **Hadoop MapReduce**: 大規模データを Map(分割・変換)と Reduce(集約)の2段階で並列分散処理するプログラミングモデル・実行基盤 Java EE(現 Jakarta EE)仕様に準拠したオープンソースのアプリケーションサーバには、Apache Tomcat、WildFly(旧JBoss)、GlassFish などがあります。 多様なプラットフォーム上で動作するオープンソースのWebサーバには、Apache HTTP Server や Nginx などがあります。 機能の豊富さが特徴のオープンソースRDBMSには、PostgreSQL や MySQL などがあります。Hadoop は関係データベースではありません。
【正解・解説】大規模データを分散並列処理するオープンソース基盤Apache Hadoop|令和3春 応用情報 午前 問20 | IT資格ラボ