お知らせ 現在、検索機能において不具合が出ているため、一時的に機能を閉鎖しております。改修次第、検索機能をリリースのうえ、お知らせいたしますので、ご不便をおかけしますが何卒ご了承ください。

このエントリーをはてなブックマークに追加

3月

19

Data Engineering Meetup #1

データエンジニアリングに関する技術の情報交換・共有を行うためのミートアップイベント

主催 : LINE株式会社

ハッシュタグ :#DEM_1
募集内容

一般

無料

先着順
147/100

イベントの説明

概要

Data Engineering Meetup は、データエンジニアリング(データの収集・管理・処理・可視化など)に関する技術の情報交換・共有を行うためのミートアップイベントです。LINE株式会社の有志のエンジニアによって運営されています。

タイムテーブル

時間 タイトル / 登壇者 (敬称略)
19:00 - 19:15 開場・受付
19:15 - 19:20 イベント説明
19:20 - 19:45 「Spark 2.4 & 3.0 - What's next -」 株式会社エヌ・ティ・ティ・データ 猿田 浩輔
19:45 - 20:10 「持続可能なデータ基盤のためのデータの多様性に対する取り組み」 株式会社サイバーエージェント 善明 晃由
20:10 - 20:15 休憩
20:15 - 20:40 「Deep Dive into Spark SQL with Advanced Performance Tuning」 Databricks Inc. 上新 卓也
20:40 - 21:05 「Improving Spark SQL Performance」 LINE株式会社 吉田 啓二
21:05 - 22:00 懇親会

セッション内容紹介 (敬称略)

1) Spark 2.4 & 3.0 - What's next -

株式会社エヌ・ティ・ティ・データ 猿田 浩輔

Apache Sparkはバージョンアップを重ねるごとに、パフォーマンスだけではなくユーザビリティの向上も両輪で行われています。昨年11月にリリースされたSpark 2.4ではKubernetes対応の強化やAvroフォーマットへの対応、高階関数を含むビルトイン関数の拡充などが行われました。 また次期メジャーアップデートとなる3.0では、高階関数の更なる拡充やAIに関連したユースケースをカバーする取り組み「Project Hydrogen」が本格的に始動する見通しです。 本セッションでは、2.4のアップデートをおさらいしつつ、3.0以降でのアップデートが検討されている主だった機能やエンハンスメントを掻い摘んでご紹介します。

2) 持続可能なデータ基盤のためのデータの多様性に対する取り組み

株式会社サイバーエージェント 善明 晃由

サイバーエージェントではAbemaTVやAmebaブログをはじめとする多様なサービスを提供しており、データ活用においては様々な形式のデータを処理する必要があります。本発表では、HBase関連システムの統合など、持続的にデータ基盤を開発・運用していくためのデータの多様性に対する取り組みについて紹介します。

3) Deep Dive into Spark SQL with Advanced Performance Tuning

Databricks Inc. 上新 卓也

Spark SQLはApache Sparkのコアモジュールの一つで、SQLや使いやすいAPIによる関係演算をスケーラブルで効率的に行うコンポーネントです。様々なデータソース(例: Hive, Cassandra, Kafka, Oracleなど)やファイルフォーマット(例: Parquet, ORC, CSV, JSONなど)のデータを処理、解析することができます。 本講演では、Spark SQLのクエリ処理ライフサイクルの技術的詳細について解説し、またどのようにパフォーマンスチューニングをするのかを紹介します。

4) Improving Spark SQL Performance

LINE株式会社 吉田 啓二

LINE では、 "OASIS" という、独自に開発した内製のデータ分析ツールを 2018 年 4 月から運用しており、 LINE の各社員が、このツール上で Spark アプリケーション (Spark, Spark SQL, PySpark, SparkR) を書いて実行することで、担当サービスのデータ分析やレポート作成、 ETL 開発・運用などを行っています。全社員が自由に Spark SQL クエリを書いて実行できる環境において、データ基盤のリソースが効率的に使用されるようにするためには、長時間実行される非効率的なクエリの処理性能を、ツール・データ基盤側で改善することが重要になります。この発表では、テーブル・パーティションの統計情報の取得や、独自のクエリ最適化ルールの適用、 Cost-based Optimizer の性能検証など、 OASIS における Spark SQL の性能改善の取り組みをご紹介します。

会場

LINE株式会社 (東京都新宿区新宿四丁目1番6号 JR新宿ミライナタワー 受付:5F)

JR新宿駅直結(ミライナタワー改札)(埼京線、総武本線、中央本線、湘南新宿ライン、山手線、成田エクスプレス)
新宿三丁目駅徒歩1分(東京メトロ丸の内線、副都心線、都営地下鉄)
バスタ新宿直結

入館方法・受付

  1. 新宿ミライナタワー 5Fエントランスに設置した受付で入館手続きをしてください。その際 connpass の本イベントで発行した受付票をご提示ください。
  2. スタッフからゲストカードを受け取り頂き、エレベーターで会場となる23Fにお上りください。ゲストカードは無くさないようご注意ください。イベント中は首から下げることをおすすめします。
  3. お帰りの際に必ずスタッフに返却願います。

※ 19:15 までに 5F 受付にお越しください。受付の都合上、それ以降は入館いただけない場合がございます。

参加費

無料

持ち物

connpassで発行される受付票

発表者

猿田 浩輔 猿田 浩輔 善明 晃由 善明 晃由 上新 卓也 上新 卓也 Keiji Yoshida Keiji Yoshida

資料 資料をもっと見る/編集する

資料が投稿されると、最新の3件が表示されます。

フィード

Keiji Yoshida

Keiji Yoshida さんが Data Engineering Meetup #1 を公開しました。

2019/02/18 13:32

Data Engineering Meetup #1 has been published!

グループ

Data Engineering Meetup

データエンジニアリングに関する技術の情報交換・共有を行うためのミートアップイベント

イベント数 1回

メンバー数 303人

終了

2019/03/19(火)

19:15
22:00

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

募集期間
2019/02/18(月) 00:00 〜
2019/03/19(火) 18:30

会場

LINE株式会社 新宿オフィス

東京都新宿区新宿四丁目1番6号 JR新宿ミライナタワー

参加者(100人)

k_otani

k_otani

Data Engineering Meetup #1 に参加を申し込みました!

てら

てら

Data Engineering Meetup #1 に参加を申し込みました!

rokkohorosi

rokkohorosi

Data Engineering Meetup #1 に参加を申し込みました!

cory (@adnm)

cory (@adnm)

Data Engineering Meetup #1に参加を申し込みました!

y_k

y_k

Data Engineering Meetup #1 に参加を申し込みました!

Takeshi0722

Takeshi0722

Data Engineering Meetup #1 に参加を申し込みました!

hitanaka

hitanaka

Data Engineering Meetup #1 に参加を申し込みました!

yoshitake

yoshitake

Data Engineering Meetup #1 に参加を申し込みました!

seatbelts

seatbelts

Data Engineering Meetup #1に参加を申し込みました!

kimutansk

kimutansk

Data Engineering Meetup #1 に参加を申し込みました!

参加者一覧(100人)

補欠者(47人)

soymsk

soymsk

Data Engineering Meetup #1 に参加を申し込みました!

RyoFujiura

RyoFujiura

Data Engineering Meetup #1 に参加を申し込みました!

bonrusuki

bonrusuki

Data Engineering Meetup #1に参加を申し込みました!

Neoki

Neoki

I joined Data Engineering Meetup #1!

mayolar221

mayolar221

Data Engineering Meetup #1 に参加を申し込みました!

hikaru-nozoe

hikaru-nozoe

Data Engineering Meetup #1 に参加を申し込みました!

mi

mi

Data Engineering Meetup #1に参加を申し込みました!

nminoru_jp

nminoru_jp

Data Engineering Meetup #1 に参加を申し込みました!

t-kaki

t-kaki

Data Engineering Meetup #1 に参加を申し込みました!

cameleon14

cameleon14

Data Engineering Meetup #1 に参加を申し込みました!

補欠者一覧(47人)

キャンセルした人(100人)