[ English | Japanese ]
クラウドの普及とAjaxやWebSocketを利用した画面の自動更新に対応するサービスの普及によって、アプリケーションの高速化が求められるようになり、データセンタ内においてネットワークスループットの向上だけでなく、低遅延通信が要求されている。例えば、memcached(FacebookやTwitterで利用されている)などの分散メモリキャッシュサーバや、iSCSIなどのストレージサービスでは、高速化のために低遅延通信が求められている。
しかし、データセンタで使われているIPネットワークは接続性に優れているが、InfiniBandや独自の専用ネットワークと比べて通信遅延が大きく、これらのサービスの処理性能を低下させている。低遅延通信には、RDMAが利用されるが、機構的にDMAリードによるオーバーヘッドが生じる。
本研究では、DMAリードを廃することで、RDMAより通信遅延を少なくするIP-NUMAを提案する。IP-NUMAは、バークレイソケットAPIに代わり、ノード間の一部のメモリをNUMAアーキテクチャによって共有メモリ化し、データ送信時にDMAリードに代わってCPUライトを使い、PC上で生じる通信遅延を削減する手法である。IP-NUMANICを用いたメモリ書き込みによる通信(PC+FPGA、Linux上で構築)と、市販NICを用いたバークレイソケットによる通信をping-pongプログラムを使って分析したところ、通信遅延を90%削減した。片道通信遅延は、1.081μsで、RDMAを用いた場合と比べて、11%以上削減することができた。
また、L3スイッチのIPパケット転送に必要な処理と最小転送遅延をあきらかにした。FIBNICは、パケット転送遅延を削減するため、本研究では全工程を最少ステージ数でパイプライン化し、パケットバッファを用いないIPパケット転送手法である。本手法を市販のFPGAボードに実装したところ、41万経路のIPv4パケットの転送遅延が976nsで一定であることが確認された。これは市販のギガビットL3スイッチにて64バイトフレームを計測したときの20~25%に相当する。
本手法であるIP-NUMAとFIBNICをmemcachedに適用し、見積もりしたところ、ローカルのIPネットワークにおいて、バークレイソケットと比べ、4倍のトランザクション性能となった。コモディティネットワークを使用しながら、クラウドやHPCなどのインターコネクトとしてIPプロトコルの適用範囲が広がることが期待できる。
キーワード: データセンタ,低遅延通信,RDMA、IP,memcached,FPGA.
慶應義塾大学大学院 政策・メディア研究科
MAUI Project
博士論文
Back to Index Page
学位取得年度
2016年度
氏名
松谷 健史 ( MATSUYA, Takeshi)
論文題目
IP(InternetProtocol)を用いた低遅延分散アーキテクチャ
論文要旨
連絡先
本文が必要な場合は下記までご連絡ください。
松谷 健史 ( macchan at sfc.wide.ad.jp )
Copyright 2000, MAUI Project
Last update: