メニーコアに向けた新並列計算モデル　～ビッグデータ処理などをより高速に、かつ省メモリで実行～

2016年7月14日

理化学研究所（理研）計算科学研究機構システムソフトウェア研究チームは、科学技術振興機構(JST) の戦略的創造研究推進事業「CREST」における研究領域「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」の支援を受け、株式会社日立製作所研究開発グループ情報通信イノベーションセンタストレージ研究部および慶應義塾大学理工学部河野研究室と共同で、メニーコアプロセッサにおいて並列タスク間の連携を高速化する技術「Partitioned Virtual Address Space（PVAS・ピーヴァス）」を研究開発致しました。この技術によって、気象予測や災害シミュレーションといった科学計算やビッグデータ処理などをスーパーコンピュータ上でより高速かつ省メモリで実行することが可能になり、科学的・社会的課題の解決に迅速に対応することができるようになります。

近年多数のスーパーコンピュータにはメニーコアプロセッサが採用されています。メニーコアプロセッサを用いると、多数の並列タスク（コンピュータ上で計算処理を実行する実体）をひとつのコンピュータ上で動作させることが可能になります。その反面、計算データを多数の相手と交換するために、並列タスク間の通信頻度が増加することになります。この並列タスク間の通信をいかに高速化するかが、メニーコアプロセッサを用いて高速に並列実行する上での課題となっていました。

これまでは、並列タスクが他のタスクが保持しているデータに直接アクセスすることができないため、通信時間が大きくなっていました。しかし、PVASを用いると、並列タスクが他のタスクの保持しているデータに直接アクセスすることが可能になり、通信時間を小さくすることが可能です。PVASをLinux オペレーティングシステムに実装し、メニーコアプロセッサ上で評価したところ、並列タスク間のMPI通信を高速化し、ベンチマークプログラムの実行性能を最大で約20%向上することができました。また、PVASを用いたアプリケーション・プログラム開発促進のため、McKernel [1] にPVASを移植しました。

[1]McKernel（エムシーカーネル）：軽量マイクロカーネル
最先端共同HPC基盤施設（JCAHPC）が設置する予定の次世代スーパーコンピュータ Oakforest-PACS、および、文部科学省のフラッグシップ2020プロジェクトにおいて理化学研究所が開発を進めているポスト「京」でも採用が予定されているメニーコア向けの軽量OSの名称。
※McKernel の詳細説明（英語）はこちら

研究チーム

理化学研究所計算科学研究機構
システムソフトウェア研究チーム
チームリーダー　石川裕　（いしかわゆたか）

株式会社日立製作所研究開発グループ
情報通信イノベーションセンタストレージ研究部
部長　志賀賢太　（しがけんた）

慶應義塾大学理工学部情報工学科
河野研究室
教授　河野健二　（こうのけんじ）

詳細内容について

背景

近年多数のスーパーコンピュータにおいてメニーコアプロセッサが採用されています。メニーコアプロセッサ上で科学計算やビッグデータ処理を高速に省メモリで実行するためには、メニーコアプロセッサに適した新しい並列実行モデルが必要とされています。

研究手法と成果

従来の並列実行モデルでは、計算ノード内での並列実行を実現するために、プロセス並列またはスレッド並列が用いられてきました。プロセス並列では並列実行するプロセス間で互いのデータを直接アクセスすることができず、プロセス間の通信を効率的に実現することが困難でした。一方、スレッド並列では、全てのデータがスレッド間で共有されてしまい、排他制御が必要で、このために実行効率が低下していました。一方で、将来の並列コンピュータのCPUコアあたりのメモリ量は減ると予想されており、省メモリな並列実行環境の実現が望まれています。

今回提案する新しい並列実行モデルにおいて、並列実行の単位であるタスクは互いのデータを直接アクセスできますが、タスク間でデータは共有しません。この結果、従来のプロセス並列とスレッド並列の互いの長所を取り入れたものとなっており、高速かつ省メモリな計算ノード内の並列実行環境を実現することが可能となりました。

図1 通常のタスクモデルとPVASにおける並列タスクのアドレス空間

研究開発された Partitioned Virtual Address Space（PVAS・ピーヴァス）では図１に示すように、タスクを同一の仮想アドレス空間で動作させることを可能にしました。アドレス空間を複数のパーティション（PVASパーティション）に分割し、各並列タスクに割り当てています。多数の科学計算プログラムで用いられている通信ライブラリ「Message Passing Interface (MPI)」に本研究成果のPVASを適用し、メニーコアプロセッサを搭載するコンピュータノードを用いて評価したところ、ベンチマークプログラムの実行性能を最大で約20%向上することができました。また別のベンチマークプログラムで、300メガバイトのメモリを節約して実行できることが確認されています。

今後の期待

PVASを将来の並列実行のための基盤技術と位置づけ、国際共同研究プロジェクトを複数立ち上げています。また、ビッグデータ解析等のIoTプラットフォームへの応用も期待されています。

論文情報

・新しいタスクモデルによるメニーコア環境に適したMPI ノード内通信の実装
著者名：島田明男、掘敦史、石川裕
雑誌：情報処理学会論文誌コンピューティングシステム(ACS) 第50号 Vol.8、No.2

・メニーコアにおける派生データ型を用いたMPIノード内通信の高速化
著者名：島田明男、須藤敦之、掘敦史、石川裕、河野健二
雑誌：情報処理学会論文誌コンピューティングシステム(ACS) 第54号 Vol.9、No.2

連絡先

理化学研究所計算科学研究機構
システムソフトウェア研究チーム
上級研究員　堀敦史（ほりあつし）
TEL：03-5544-8543　FAX：03-5544-8541
E-mail：ahori[at]riken.jp
※[at]を＠に変更ください