【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
BRANK

LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。 この問題を解決するために、今回の技術職 就業型コースのインターンシップで、私は効率的なVerdanoHypervisorの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し、比較的複雑になりうる多数の物理マシンに対して並列に行われるオペレーションを、より効率的で堅牢に行えるようにしました。さらに、この設計に基づいた実装を行い、実際に利用されている850台のHypervisorに対するチェックデプロイを通して、その効率を確かめました。

engineering.linecorp.com
Related Topics: Docker Containers
3 comments
  • LINEのインターンの方がVerda開発チームという社内プライベートクラウドのHypervisorの更新処理システムをKubernetes Operatorで作成したというお話

    元々Jenkins + Ansibleでタスクを並列実行していたものを、Kubernetes Operator + Ansibleとすることで高速化につながったとのこと
    一部出ていたCRDのSpecを見る限り内部的にはOperatorの調整ループ内部でAnsibleを実行している雰囲気

    個人的には(調べてないけど) https://access.redhat.com/documentation/ja-jp/openshift_container_platform/4.2/html/operators/osdk-ansible と近いのでは?というところが気になってる