Studyplus Engineering Blog

スタディプラスの開発者が発信するブログ

builderscon 2019に行ってきた

今回は8/29~31に開催された builderscon tokyo 2019 へ行ってきた感想を書きます。

f:id:yo-shimada:20190905173056j:plain
参加メンバーの写真

はじめに

buildersconへの参加は2年連続です。昨年の感想はこちらになります。

tech.studyplus.co.jp

またスタディプラスは昨年に続きbuildersconのスポンサーとして、ネームカードスポンサーとウォーターボトルスポンサーとして協賛をさせて頂きました。

感想

buildersconのセッションはバリエーションに富んでおり、どの発表も大変興味深いものでした。その中でも参加した4名がそれぞれ印象に残ったセッションの感想を書かせて頂きます。

島田

Open SKT: メルペイ開発の裏側

speakerdeck.com

4階層アーキテクチャによる基本的な構成の説明から、高い信頼性を求められる決済サービスでどういった観点を重要視して、そのためにどう仕組みを作っているが興味深かった。決済システムの一貫性を保つための一般化したエラーハンドリングの考え方と、共通モデルのTry,Confirm,Cancelによる状態確保するための仕組みは参考になった。 また、メルカリとメルペイでの開発の考え方の違い。サービスの特性による求める安定基準に違いから来るものが興味深かった。特に開発フローでのレビューの差異等が参考になった。

RDBのトラブルの現場を追え!

speakerdeck.com

DBのトラブルとして考えられるケースの説明。全体を通してMySQL、PostgreSQLのそれぞれの勘所・差異の説明は興味深かった。 スロークエリのあるあるの対応や原因の切り分けには納得。不正データ(制約で守られていない)に関してはPostgreSQLとMySQL8から出来ること(チェック制約)が参考になりました。 ユーザー情報のテーブル設計に関しては普段感じている課題感に対してひとつ知見も得る事が出来て、面白かった。 最後の「 DBは同じ話が30年前からある」は、知見が陳腐化する速度がそこまで速くなく、どこでも利用する技術なので強みとなりやすいというのは、なんか良かった。

大石

ランチセッション「キーボードは好きですか?」

speakerdeck.com

私自身趣味で活動している自作キーボードに関するセッションをおいしいランチを食べなから聞くことができました。 このセッションでは最近ブームとなっている自作キーボードに関する内容でしたが、発表者がCorne Keyboardの設計者でもあり、大変濃い内容を聞くことができました。 また、発表資料が現在の自作キーボード文化をまとめた資料性の高い内容となっていますので、自作キーボードに興味のある方はぜひご覧ください。 弊社でも自作キーボードのもくもく会を定期開催していますので、この資料が役立つことと思います。

個人的に参考になった点

  • キーボードの種類(私は40%キーボード信者)
  • メカニカルスイッチの解説(Lubeに関する解説も良い)
  • メカニカルスイッチの構造、フランケンスイッチ(自分で作るのは大変なので触ってみたい)

コンパイラをつくってみよう

speakerdeck.com

「コンパイラをつくってみよう」というタイトルのとおり、発表者がライブコーディングでフルスクラッチのコンパイラを実装するという内容でした。 このコンパイラはGo言語で実装してアセンブリを出力するシンプルなものですが、ライブコーディングで少しずつソースコードの解析とコンパイラを実装する流れを見ることができました。 時々コンパイルエラーが発生するのですが、その際はギャラリーからエラー個所のアドバイスがあり、ギャラリー参加型のセッションという楽しい雰囲気となっていました。 この発表を聞いて自分でも簡単なコンパイラが作れそう、アセンブリ言語を扱うのも楽しそうという印象を受けました。

カンファレンス全体の感想

私がこれまで参加していた特定のプラットフォームの開発者のカンファレンスと異なり、ハードウェアやメーカー系の話題のあるカンファレンスで大変興味深く思いました。そして、まだまだ自分の知らない分野や勉強できることがあると感じましたので、機会があればまた参加したいと思います。 イベントの運営スタッフの方々、登壇者の方々、スポンサーの方々に感謝いたします。

田口

ブロックチェーン時代の認証

speakerdeck.com

ブロックチェーンについては正直ほとんど知らないことばかりだったのですが、興味本位で聞きに行きました。 自分のようにブロックチェーンについての知識が乏しい人にも詳しい説明がなされた発表で、大変助かりました。

現在のWebサービスは中央集権的であり、プライバシーやデータが提供される側で完全に管理されている状態で、ブロックチェーンの登場でそれが非中央集権的に、個と個のやり取りで管理されるようになってきているという話が印象的でした。現在のWebとブロックチェーンがお互いの課題感をお互いに解決できる未来を妄想するとわくわくしますね。発表者のrmanzokuさんもとても楽しそうに話していたのが印象的でした。

Web Componentsによる段階的AngularJS脱出作戦

docs.google.com

AngularJS、つまりAngularの1.x系のバージョンが2021年6月30日でEOLを迎えるので、今のうちから脱却に動いていこうという話でした。 弊社でもAngularJSで作られたプロダクトが動いているため、少しでも脱却するために得るものがあればと思い参加しました。

まず最初に、Web ComponentsがSafariでもサポートされていること、Polyfillまで見ればIE 11でもサポートされていることに驚きました。恥ずかしながら、もっと未来のことかと思ってました。 Web Componentsの仕様の一つであるCustom Elementsを使って、言葉通り段階的にAngularJSアプリケーションを書きかえていく話でした。 Angularでは公式でCustom Elementsをサポートしているパッケージ(@angular/elements)が出ており、アプリケーションの一部をCustom Elementsで書き換えるといったことが可能で、それを利用して少しずつAngularJSから脱却していくやり方を実際のデモを通して見れました。 このやり方は発表者であるlacolacoさん自身が考案し試行段階ということです。今後どうなっていくか気になるので、注視していこうと思います。

山下

現代フロントエンドに欠かせないwebpackとBabelを理解しよう!

speakerdeck.com

最近webpackerのバージョンアップをする機会があり、その際設定ファイル等の変更でbabelやwebpackのドキュメントを見ながら苦しんだため、是非聴きたいと思い聴いてきました。

前半はbabelやwebpackについて誕生の背景やコンセプトなどの説明、後半は内部実装を見ながら処理の流れのを追っていくという内容でした。 前半の説明がわかりやすく、個人的にはbabelがどのような流れでコードを変換し各処理にどのパッケージやプラグインが必要かを、変換されないパターンも交えながら解説してくれていて理解が深まりました。ただ、後半は内容が難しくまだまだ勉強が必要だと感じました。 また、今後babelやwebpackをどう学んでいけばよいかという質問に対して、公式ドキュメントを読みましょうという回答をされていました。babelやwebpackに限った話ではないですが、ついサボりがちなため公式ドキュメントを読み学んでいきたいと感じました。

ウォレットアプリ「Kyash」の先 〜「Kyash Direct」のアーキテクチャ〜

法人向けの決済プラットフォームKyash Directの開発についての内容でした。 既存Kyashのアーキがある中でスクラッチ開発を判断した経緯や、MicroservicesとMonolithどちらにするかをそれぞれメリット・デメリットを挙げどのように判断したかなど、開発を進める上で非常にためになる内容でした。 Microservicesでいくと決めた後も、サービスの分割方法、サービス同士の連携方法、DBの持ち方などについて、過去の経験や教訓、未来に起きるであろう課題の解決のしやすさを考慮しながら進めている点について見習わなければと感じました。 単に新しい技術を取り入れるだけでなく、自分たちのサービスや環境を考慮した設計をしていくことの重要性を感じた発表でした。

最後に

多種多様なセッションを聞く事ができ、buildersconのキャッチフレーズ「discover something new」とおり新たな知見を得ることが出来、大変有意義な時間となりました。 来年もまた参加とスポンサー等での協力が出来たらと考えています!

Rubyアプリケーションのメモリ使用量上昇問題をjemallocを使うことで解決しました

こんにちは、スタディプラスの栗山(id:shepherdMaster)です。
今回はRubyアプリケーションのメモリ使用量上昇問題をjemallocを使うことで解決した話です。

Rubyアプリケーションのメモリ使用量上昇問題

弊社ではRuby on Railsをメインで使っていますが、Rubyアプリケーションを長時間稼働させていると、次第にメモリ使用量が増えていく問題に悩まされていました。
これは、Rubyのメモリ領域の断片化によって引き起こされるそうです(参考)

puma worker killerによる定期的な再起動

この問題に対応するため、 puma_worker_killerという定期的にpumaのworkerをrestartさせるためのgemを使用し、メモリ使用量が上昇するのを抑えていました。
しかし、puma worker killerの実行のタイミングでたまにNo connection poolエラーが発生することがあり、調査や修正を試みていたのですが解決にはいたらない状態でした。

一筋の光、jemalloc

そこでpuma worker killer以外の解決方法を探すことになり、候補として上がったのがjemallocです。
jemallocを使うとメモリ領域の断片化を減らしてくれるということで実際に導入してみました。

EC2インスタンス上で運用しているサービスに関しては、Rubyビルド時にjemallocを有効化するオプション(RUBY_CONFIGURE_OPTS=--with-jemalloc)をつけてjemallocを有効化しました。

AWS Elastic Beanstalk1上で動いているサービスに関しては、Rubyのビルドオプションを指定することが難しそうなので、LD_PRELOADを使った方法を取りました。
(LD_PRELOADを使った方法は手軽ですが、そのサーバーのすべてのアプリケーションに影響がでるので注意が必要です。幸い私達の場合、特に問題は出ませんでした。)

jemallocが有効になっているかの確認方法

Rubyビルド時にjemallocを有効にした場合

$ ruby -r rbconfig -e 'puts RbConfig::CONFIG["MAINLIBS"]'
-lz -lpthread -lrt -lrt -ljemalloc -ldl -lcrypt -lm

-ljemallocが表示されれば有効化されています。

LD_PRELOADを使った場合

Rubyアプリケーションのpid(pumaで動かしていればpumaのpid)を指定してメモリマップを確認し、jemallocへのパスが表示されれば有効化されています。

$ sudo strings /proc/10289/maps  | grep jemalloc
7f59e5ff8000-7f59e6028000 r-xp 00000000 103:03 12712                     /usr/lib64/libjemalloc.so.1
7f59e6028000-7f59e6227000 ---p 00030000 103:03 12712                     /usr/lib64/libjemalloc.so.1
7f59e6227000-7f59e6229000 rw-p 0002f000 103:03 12712                     /usr/lib64/libjemalloc.so.1

導入結果

メモリ使用量

f:id:shepherdMaster:20190828124434p:plain

12:00あたりまではpuma worker killerを15分起きに実行していたのでグラフが小刻みに上下しています。 その後12:00過ぎからpuma worker killerを2時間起きに実行するように変更しました。これによりメモリ上昇が起こっているのが分かります。
そして15:00あたりからjemallocを有効にした結果メモリ使用量が大きく下がりました。約3割減です 🎉 またその後メモリ使用量も上がることなく安定しています。
jemallocによりメモリ使用量の上昇を抑えられることが分かったのでpuma worker killerをその後取り除きました。取り除いた後もメモリ使用量は安定しています。

ありがとう、jemalloc 🙏

レスポンスタイム

Load AverageとCPU使用率に関しては変化がありませんでしたが、レスポンスタイムは気持ち速くなったようにみえます 😊

f:id:shepherdMaster:20190828124458p:plain

まとめ

jemallocを導入することでRubyアプリケーションのメモリ使用量が上昇しつづける問題を解消することができました。 これほど効果がでるならもっと早く導入しておけばよかったなと思ってます。
Rubyアプリケーションのメモリ使用量上昇にお困りでしたら、ぜひjemallocをお試し下さい。


  1. 弊社は歴史的経緯からAWS Elastic Beanstalkを使っていますが、不便な点が目立つので脱 Elastic Beanstalkを計画中です

Kotlin Fest 2019に参加しました

こんにちは、Androidチームの若宮 (id:D_R_1009)です。

Kotlin Fest 2019(2019年8月24日)にAndroidチームの3名(若宮、中島、隅山)で参加してきました。

kotlin.connpass.com

昨年度に参加した時のブログはこちらです。昨年に引き続き 勉強会・カンファレンス参加補助 を利用し参加させていただきました。

tech.studyplus.co.jp

当日の様子

会場が品川駅港南口方面だったので、品川駅の某所で待ち合わせて会場に入りました。 Peatixを利用したチケットの確認も大変スムーズで、待ち時間なく会場入りすることができました。スタッフの皆様に感謝。

blog.jetbrains.com

JetBrainsさんのブログの通り、会はたろうさんの挨拶から始まりSvetlana Isakovaさんの「Kotlin Fest 2019基調講演」となりました。 朝一番にこんなに面白いものを聞いてしまっていいの!? と驚きつつ、Kotlin Festが始まったんだなーと感じていたのを覚えています。

たろうさん

twitter.com

Svetlana Isakovaさん

twitter.com

当日の思い出

以下、3名それぞれの当日参加感想となります。

若宮(id:D_R_1009)

昨年参加できず、今年は参加できることが決まった日から楽しみにしていました。

KotlinはGoogle I/O17でAndroidの正式採用言語になることが決まってから触り出しているので、おおよそ2年ほど触っていることになります。 最初は varval の使い分けに混乱するほどでしたが、関数を引数とするなど徐々にKotlinに慣れ今ではなくてはならない言語となっています。

今回のKotlin FestではContractsが業務に生かせそうだな、と感じました。 アプリのモジュール化が進むにつれ、Utilクラスや拡張関数にContractsの利用するべきシーンが出てき始めたのかな、と感じています。 資料をもとに勉強し、活用していきたいと思います。

個人的な関心としては、Reactを使ったSPAの開発に取り組んでいるので、Kotlin MPPを利用したReactアプリ開発にチャレンジしてみたいなと。 Kotlin JSは発表や資料を読んでも、まだまだ開発途中っぽいなと感じました。ですが、今から開発に飛び込むとそれはそれで楽しそうだなとも!

全体的に「Kotlinを使うのは楽しいな」と感じる瞬間が多かったです。 懇親会も含めて、Kotlin Festは想像の数倍楽しかったです! また来年も参加したい!

中島

結論から言いまして、とても実りの多い体験となりました。

オープニングセッションであるSvetlana Isakovaさんの基調講演から、Kotlinの開発体制や精神だけでなく今後の新機能についてまで盛りだくさんの情報量でした。 特に、幅広いユースケースで使われそうな Contracts および ImmutableCollections について興味をそそられました。

午後からのセッションも 佐藤 隼さんの「Kotlinの型実践入門」富田健二さんの「改めて学ぶContract」 といった関連の強いものを聴講することで、より理解を深められたと感じられました。 特に Contracts は既に公式(1.3.50)拡張関数の内26メソッドに利用されているとのことで、自分でも積極的に使っていこうという気概が生まれました。

また「Kotlinの型実践入門」ではNothing/Nothing?型のユースケース、恥ずかしながら不勉強のまま放置していたジェネリクスなどについても色々勉強できたと思います。 セッションの最後にちらっと触れられていた、SAM変換問題に対する新しい型変換の開発についても、今後もKotlinの動向からは目を離せないと改めて思いました。

懇親会では普段あまりお話しできない、Android以外でKotlinを使っている方々との情報交換が色々とできてこれもとても有意義な時間だったと感じました。 Androidをやっていると静的型付けが基本ですし自分は他の経験言語でも同様だったので、型が明記されない言語からKotlinに変更した時の体験談などを聞けたのも楽しかったです。

最後に、聴講したセッション以外で特に気になったセッションが 八木俊広さんの「Kotlin コルーチンを 理解しよう 2019」 です。 資料を後から読みましたが非常に内容が濃く、自分があまり細かく理解しないで使っていたんだなと思い知らされました…。 Rxでいう通信処理のzipなど、単純な通信処理から少し外れたものをどう実装するのが本来正しいのか、しっかり把握できた気がします。

隅山

今回Kotlin Fest初参加でしたが、オープニングセッションでのSvetlana Isakovaさんの講演から始まり、全体的にKotlinの盛り上がりを感じることができました。既存のコードを壊さず、モダンに保つようアップデートとフィードバックを繰り返すことで言語をブラッシュアップしていることを知り、今後のKotlinにも非常に期待が持てました。 セッションは全体的に勉強になりましたが、特に勉強になったのが「コルーチン」と「Contract」でした。

コルーチンは業務で使っているのですが、何となくでしか理解できていないことをKotlin Festを通じて感じました。 例えば、スレッドよりコルーチンの方が軽量であることは知ってましたが、スレッドは1MB~2MBほどメモリを使うのに対してコルーチンは1KB程度のため、コルーチンを積極的に使うべきだと思いました。設計面では「コルーチンスコープとアプリケーションライフサイクルを合わせる」「suspend関数とコルーチンはメインセーフティを考慮する」と発表されていたため、今後はそこを気をつけながら開発していきます。

Contractは初見でしたが、isNullOrEmpty()でチェックした後からNonnullで扱えるようになるのはContractのおかげということがわかり、Contractの有り難さを感じました。 Kotlinでの開発中にいきなりNullableの値がNonnullで扱えるようになったりと、何気なく使えていて非常に便利である機能がContractでした。Contractは関数の振る舞いをコンパイラに適用することができるため、関数書く際はContractも考慮していきたいと思いました。

まとめとしては今回のKotlinFestを通して、自分の知識の抜け漏れを補たり、Kotlinへ熱意を感じることができたため非常にいい経験となりました。

終わりに

今年は1名がLT登壇申し込みに終わってしまいました。 来年こそは、弊社からも登壇していきたいなと感じています。

日本Kotlinユーザグループのみなさま、素敵なFestをありがとうございました!

スタディプラス第一回自作キーボードもくもく会

自作キーボードを社内で始めたきっかけ

先日、本ブログにてキーボードに関する記事「突撃!隣のキーボード Studyplus 2019」を書きましたが、その執筆の最中に社内のキーボード好きの熱が高まり、今回、有志で集まってのもくもく会の開催となりましたので、その様子をご報告します。

f:id:ksugahara08:20190827112601p:plain:w600

当日の様子

f:id:ksugahara08:20190827112843j:plain:w600

参加者は4名でしたが、それぞれキットやキーボード関連のパーツ、道具を持ち寄り自作キーボード作成や関連作業を行いました。
各メンバーが撮った写真とあわせてご紹介します。

みんなでワイワイ半田付け

f:id:ksugahara08:20190827112939j:plain:w600

アクリルプレートをレーザーカッターで切ってきた冨山氏

f:id:ksugahara08:20190827113050j:plain:w600

Let's Splitが映える!!

f:id:ksugahara08:20190827113148j:plain:w600

Lube(キースイッチの潤滑)体験コーナー

f:id:ksugahara08:20190827113231j:plain:w600

菅原さんが訳あってキースイッチのはんだを吸い取り中。全てのキースイッチを取り外す頃にははんだ吸い取りを完全に理解していたように見えました。※大石談

f:id:ksugahara08:20190827113305j:plain:w600

当日は社外から自作キーボード好きな方が参加!!!とても滑らかな打ち心地!!!
(Corne + NovelKeys Cream Switch + SPRiT Designs MX 35sのスプリングに交換)

f:id:ksugahara08:20190827113531j:plain:w600

参加者のコメント

  • 大石(id:k_oishi) 前回作成したTreadstone32のスイッチの交換とPlanckを冨山さんに譲るためにキースイッチを外してパーツの状態に戻す作業をしました。
    前回、Treadstone32で難しいはんだ部分をがんばった図は以下のとおりです。USBコネクタ部分はさらに難しいですが、こちらもなんとか成功しました。

f:id:ksugahara08:20190827113338j:plain:w600

とりあえず完成したTreadstone32 スイッチはRosélios(67g)とSakurios(62g)の組み合わせ

f:id:ksugahara08:20190827113632j:plain:w600

キーキャップはEnjoypbt GrayScale keycaps set

f:id:ksugahara08:20190827114131j:plain:w600

各自、異なる作業をしていましたが、共通の話題でわいわいしたり、アドバイスをしたりされたりと、すごく盛り上がってよかったです。
積みキットやキーボードの引き取り先を探すにもちょうど良いイベントと思いました。
SPRiT Designsの交換用スプリングが大量にありますので、次回はスプリング交換もやってみたい所存です。

f:id:ksugahara08:20190827114208j:plain:w600

  • 菅原(id:ksugahara08) Slackのチャンネルでは大石さんに色々な情報を教えて頂いて順調に沼に沈んでます!!
      ズブブブ…うわっ、あっ、うわぁぁあっぁ…
        ....::::;;;;( ;・ω・);;;;::::......
    今回は遊舎工房さんでWoody Zincを一目惚れで購入し、もくもく会に参加、いや企画!!
    無心になってはんだ付けしていると時間を忘れるくらい没頭してしまいました。
    まだ未完成なので次回には完成させたいと思います!!

  • 冨山(id:atomiyama) 初自作キーボードのLet's Splitがついに完成.PCBの注文からケースのカットまで全部やってみてなんとか完成しました!!!!!(嬉しい)
    あと譲り受けたPlanckも組んで完成!!!!
    ただ完成した直ぐそばからケースを作り直したい欲に駆られています。

  • 山﨑
    非エンジニアのド素人。
    どれくらいド素人かというと
    職種→しがない総務労務担当っす(・∀・)
    ダイオード→なんか懐かしいやつだ!…何だっけ?(・∀・)ダイオー…チョ、モウイッカイ
    ハンダゴテ→中学生ぶりにみたー(・∀・)スゲースゲー
    というレベル。
    約3カ月前にキーボードが手作りできることを知り、ZINCが可愛かったので取り敢えず沼に片足突っ込んでみることを前日に決意。
    この日は都合により13:30〜15:30までの作業。昨日の今日で開始だし、道具も部品も全く揃っていないので、今日できる作業を取り敢えずやるという感じ。
    やったこと→ケースの組み立て、プレートにダイオードをはめて固定
    教えてもらったブログに「マスキングテープで固定するとよいよー。」と書いてあったので、途中マスキングテープを買いに行ったが、可愛いマスキングテープがたくさんあり迷ったため時間を食う。
    本日の収穫

    • 大師匠・大石さんは道具を見ただけでamaz●nの限定品とわかるくらいのマニアっぷりである。
    • キースイッチのバネの強度を変えることも可能らしい。
    • 部品揃えないといけない。
    • なんか楽しい(・∀・)

f:id:ksugahara08:20190827114355j:plain:w600 f:id:ksugahara08:20190827114429j:plain:w600 f:id:ksugahara08:20190827114458j:plain:w600

最後に

参加者全員でもくもくしつつ、時にはキーボードに関する話をしながら作業していると、時間が経つのがあっという間でした。
普段の業務では一緒に仕事をしたことがないメンバーもいましたので、そういう意味でも良い機会になりました。
途中で遊舎工房へキースイッチなどの部品を購入しにいくメンバーもいましたが、御茶ノ水という比較的近い立地なのが素晴らしいですね。

今回、参加メンバーではなかった人からも興味を持ってもらえたようなので、参加者が増えると嬉しいです。
次回の自作キーボードもくもく会を開催予定ですので、その時はまたレポートしたいと思います。

スタディプラスを支えるインフラ技術

はじめに

スタディプラスには学習管理SNS「Studyplus」と教育機関向け学習管理サービス「Studyplus for School」の2つのサービスがあります。

今回は、社内では「本体」と呼ばれている「Studyplus」のAPIシステムである、コードネーム「steak」を中心にしたインフラ環境を紹介します。

構成

Studyplus本体は「steak」を中心とした複数のサブシステムで構成されており、関連するサブシステムをVPCで区切って管理しています。 「steak」を始めとした各サブシステムはRuby on Rails + Pumaで運用しています。

f:id:yo-shimada:20190821144527p:plain
サーバー構成の概要図

利用中の主なAWSのサービスは以下になります。

  • EC2
  • RDS
    • Aurora
    • MySQL
  • ElastiCache
  • S3
  • CloudSearch
  • Athena

構成管理 

基本的にインフラ関連の設定はコード化するようにしています。 スタディプラスでは構成管理には主にPackerとAnsibleを利用しております。

Packer+AnsibleでAMIを作成してEC2のサーバーを構築する際に利用します。 AWSサービスの構成管理やEC2の環境構築にもAnsibleを利用しています。

また、サイロ化を防ぐため開発エンジニアが各自実行できるようにしています。

環境

環境を以下の3つに分けて運用しています。

  • cage:開発者全員が共有する開発環境
  • stag:本番DBに接続しており、主にリリース前にアプリケーションの最終チェックをする環境
  • prod:本番環境

CI/CD

CIはCircleCIを利用しており、以下のような運用となっています。

  1. エンジニアがPull Requestの作成
  2. CircleCIにテスト
  3. レビューを経て、エンジニアがmasterブランチにマージ

デプロイに関してはSlackからHubotを経由してJenkinsでデプロイをしています。

  1. SalckでHubotにコマンドと変数を受け渡す
  2. JenkinsのJobを実行して対象にデプロイを行う

開発エンジニアの要望もあり、テスト、build、deployのパイプラインはこのような形になっています。

blue/greenデプロイ形式に則っており、リリース規模や影響度を見てカナリアリリースを行うこともあります。

f:id:yo-shimada:20190819183422p:plain
デプロイイメージ図

監視・検知

  • サーバーのメトリクス監視にはMackerelを利用しています
  • アプリケーションのエラー検知にはSentryを利用しています
  • ログ収集には、S3に保存してAthenaで確認する方法と、Amazon Elasticsearch Serviceを利用してKibanaで確認する方法を採用しています
  • OnCallはMackerelにTwilioを設定して、担当者に連絡が飛ぶようになっています

改善・挑戦

以下は、今年取り組んだ改善と今後1年以内に取り組んでいきたいと考えているインフラ関連の活動内容です。

  • 今年取り組んだ改善活動
    • RDS監視強化(パフォーマンスインサイトによるボトルネックの可視化)
    • CircleCIのPerformance Planを導入
    • 複数システムのRubyとRailsのバージョンを最新バージョンへ更新
    • jemallocの導入(Railsアプリケーションのメモリ上昇を抑えるため)
  • これから取り組みたい事
    • Cloud Native化
      • EKS等のコンテナ導入
      • サーバーレス化
    • SREチームとしての活動推進
      • 監視・ログ基盤の整備
      • ポストモーテムの整備
      • SLI/SLOの設定

現状では、まだ手作業や自動化する余地があり、安定したサービスを提供するために出来ることはあります。 その中で運用負荷を軽減する事を考えたり、モダンな思想・ツールを取り入れたりしています。

Studyplus for Schoolをリニューアルしました

こんにちは、こんばんは、For School事業部のid:atomiyamaです。 先日フルリニューアルされたStudyplus for Schoolのサーバーサイド開発、フロントエンド開発の一部を担当しました。

f:id:atomiyama:20190805152336p:plain
新しいStudyplus for School

f:id:atomiyama:20190805152528p:plain
以前のStudyplus for School

リニューアルに至った理由

  • 画面読込速度の改善
    これまでのStudyplus for Schoolは基本的にRuby on Rails(Slim)で実装されており、複雑な処理が実行されるslimでは表現できないような部分のみreact_on_railsでReactコンポーネントをマウントするような実装になっていました。
    また主要な機能の多くのページに実装されている絞り込み条件設定や、表示期間変更などでは変更されるたびに画面全体が再描画されていました。
    これらの問題を解決するために今回のリニューアルでSlimから完全に脱却してReact+Reduxを導入することになりました。

  • デザインの刷新
    以前のStudyplus for Schoolが開発されたときは専任のデザイナーがいなかったため、外注で依頼したデザインをもとに実装されていました。
    しかし、 昨年から弊チームに専任のデザイナーが配属されたため、デザインシステムをはじめ今後の新規機能開発、改善をよりスピーディに行えるようデザインを刷新しました。

新たに導入したもの

上にあるように今回これまでのslim+react_on_railsから脱却し、React+ReduxSPAを実装しました。
既存のRailsはAPIサーバーとして活用し、ReactとJSON APIでデータをやり取りするようになり、変更があればコンポーネント単位で再描画が行われるようになり、ユーザーの待ち時間は大幅に削減されました。
デザインでも AtomicDesignに準拠して再利用可能なコンポーネントを実装、Storybookでの管理を行いそれらを組み合わせてページを組み上げる形で実装を進めていきました。
統一されたパーツの集合でページが構成されているのでユーザーもページごとに異なる印象をあまり持つことがなくサイト上のどのページに行っても同じ体験をできるようになったと感じています。
また、既存のRailsはAPIサーバーという役割に変更されたため認証まわりにも変更を行いOpenID Connectを新たに導入しました。
Studyplus for Schoolには今回リニューアルされたアプリケーションの他に入退室管理を提供するElmで実装されたアプリケーションがあるため、それらの認証を全てまとめる目的で今回OpenID Connectを選択しました。

バックエンドのRails APIサーバーからはJSON APIを提供するように変更されたため、OpenAPI3でAPIの仕様を記述し開発段階ではモックのみをはじめは提供しクライアント側の開発が終わってから本実装を行うような形を取りました。これは私があまりフロントエンドの実装に慣れていなくて見通しが立たなかったのに比べて、Railsであれば比較的見通しがたったことが大きな理由です。(最終的にはチーム全体でこのフローで開発が進んでいましたが)

以上のような技術が今回のリニューアルで導入され、クライアントの部分とサーバーの部分がAPIを境に切り離されたため、今後デザインの改善や機能の改善も全体的に行いやすくなりました。

これからのStudyplus for School

今回のリニューアルは実装に7ヶ月という長い時間を費やしました(計画も合わせると1年弱)。チームメンバーと技術選定を行ったり、計画通りに開発が進まずに開発プロセス改善を試行錯誤したり、Reactに馴染みのない自分がいち早く習得できるようにチームメンバーにペアプログラミングを実施してもらったりと色々と大変なことがありましたが無事リニューアルを終えることができました。

今回システム全体を洗い直したことで新たに技術的な負債が浮き彫りになったり、また今回のリニューアルの中で発生した技術的負債もあります。
今後もそれらと向き合ってユーザー目線で、より良い体験を届けていくためにどんどん新しい技術の導入に積極的に挑戦していきたいと思っています。

DatabaseView(Room 2.1)による本棚並べ替え機能リリースについて

こんにちは、Androidチームの若宮(id:D_R_1009)です。

スタディプラスのAndorid版にて、5月半ばより不具合の発生していた「本棚」機能を7月頭に修正したしました。 ご不便、ご迷惑をおかけしましたこと大変申し訳なく思っております。

「本棚」の不具合においては、2つの問題点がありました。

  1. Room DB の allowOnMainThread 指定による、DBファイルの破損問題
  2. 「本棚」内の並び順と、本棚に追加する「教材」の関係性が密すぎる問題

今回はRoom 2.1より追加された DatabaseView を活用し、2つ目の問題を解決しましたので、その経験をまとめたいと思います。

developer.android.com

DatabaseView とは

Room 2.1より追加された、複数のTableから1つのクラスを作る仕組みです。

docs.google.com

2.0までは、あるTableとTableを1対1で対応させるためには、下記のような方法が必要でした。

@Entity(tableName = "parent")
class ParentEntity {

    @Embedded
    lateinit var child1 : ChildClassA

    @Embedded
    lateinit var child2 : ChildClassB
}

@Dao
interface SampleDao {
    @Query("SELECT * FROM child_class_a, child_class_b where child_class_a.id = child_class_b.id_class_a")
    fun getParentEntityList(): LiveData<List<ParentEntity>>
}

stackoverflow.com

対し、DataBaseView ではSQLのInner JoinまたはOuter Joinを利用してEntityを作ることができます。

@DatabaseView(
    viewName = "parent",
    value = "SELECT * FROM child_class_a INNER JOIN child_class_b ON child_class_a.id = child_class_b.id_class_a"
)
data class ParentEntity(

    @Embedded
    val child1: ChildClassA,
    @Embedded
    val child2: ChildClassB

)

@Dao
interface SampleDao {
    @Query("SELECT * FROM parent")
    fun getParentEntityList(): LiveData<List<ParentEntity>>
}

DatabaseView により、旧来の方法に比べて下記の点が便利になっていると感じます。

  1. Inner JoinかOuter Joinかを選ぶことができるので、(View層のために)生成したいクラスのNullableがコントロールしやすくなった
  2. lateinit var では実行時のエラーによる検知しかなかったが、DatabaseView ではコンパイル時の検知が可能になっている
  3. val でフィールドを定義できる

今回解決するべき問題

本棚の並べ替えにおいては、教材並び順 の2つの要素を組み合わせていきます。

歴史的な経緯により 教材 はユーザー情報に紐づけられてサーバー上に保存されていますが、 並び順 は端末ローカルにしか存在しません。 このため 教材 の追加/修正/削除時には 教材並び順 の2つのテーブルを更新し、 教材 を並び替えた場合には 並び順 のテーブルのみを更新する必要があります。

また各 教材 には カテゴリー が紐づけられています。この カテゴリー は例えば「英語」や「数学」などの 教材 を本棚内で管理するための概念です。 もちろん、本棚内で カテゴリー の並べ替えを行うことができるため、 カテゴリー に対応する 並び順 が存在します。

教材の並べ替え カテゴリーの並べ替え
f:id:D_R_1009:20190722181453g:plain f:id:D_R_1009:20190722181519g:plain

全体の構成図

f:id:D_R_1009:20190723153124p:plain

アプリはAndroid Architecture Componentsを利用したMVVMアーキテクチャを採用しています。 昨年12月ごろは導入半ばといったところでしたが、最近はほとんどViewModelによるビジネスロジックの切り離しが進んでいます。

tech.studyplus.co.jp

tech.studyplus.co.jp

DatabaseView の便利なところ、注意した方が良いところ

DatabaseView の対象クラスに対して、@Insert@Update することはできません。 必ず、その構成している要素の各Tableに対して更新を行う必要があります。

一方で各Tableに対する更新が、対象クラスへの更新通知となります。 このため 並び順 の更新を行うと、 教材並び順 を組み合わせたクラスへの変更通知となります。結果として LiveData<List<SortedMaterial>> のようにDBからリストを購読していれば、 並び順 の更新後にUIへ変更を伝えることができます。

教材並び順 の親の関係となるため 並び順 の外部キーとして 教材 を指定しました。 このためInsert時のConflictStrategyに REPLACE を指定してしまうと、 教材 の更新をするたびに 並び順 が破棄されてしまうようになります。 DatabaseView では外部キー制約を考えることも多くなると思われるので、あらかじめ @Insert@Update を使い分けておくのが良さそうです。

設計上の工夫点

  1. View層にはDB層の結果だけを表示させる
    • RecyclerViewに渡すListはDaoから取得するListに限定
    • DBの 並べ替え テーブルの更新結果をView層が受け取り、Groupieのupdateメソッドによる並べ替えを行う
    • 各種のソート処理はView層で実行させない
  2. ViewModel層でView層とDB層(リポジトリ層)との非同期処理の調整を実施
    • DB層はKotlin CoroutinesによるDBアクセス、View層はLiveDataによるUI更新となるため、操作対象となるListはViewModelがハンドリング
    • LiveData.getValue() により CachedList を取得、View層から取得したPositionより並べ替えされた順序リストを作成
  3. DB層は @Update メソッドにより 並び順 テーブルのみを更新
    • Roomの操作をKotlin Coroutinesにより実施させる
    • @Update メソッドの処理はArchitecture Components の I/O Dispatcherで実施されるため、呼び出し側でいじらない
    • 適切に Index を貼ることで、 DBから 教材 を取得する速度を担保する

まとめ

Room 2.1の DatabaseViewLiveDataRecyclerView を組み合わせることによる並べ替え機能について紹介しました。 結果として冒頭であげた1つ目の問題、 UIスレッド上でDB内の並べ替えを(長時間)行う ことによるローカルDBの破損問題にも対応することができ、アプリの安定性に寄与できたかなと思います。

引き続きRoomによるアプリの改善に取り組んでいければ、と考えています!