Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
金融データの変換という困難な課題への対処
2016年1月6日水曜日
* この投稿は、米国時間 12 月 17 日、FIS の Principal である Salvatore Sferrazza と、FIS の Manager である Sebastian Just によって投稿されたもの（投稿はこちら）の抄訳です。 今回のゲスト投稿者は、投資情報サービスとテクノロジーソリューションの国際的なプロバイダである FIS Global 社のサルヴァトーレ・スフィラッツァ（Salvatore Sferrazza）、セバスチャン・ジャスト（Sebastian Just）の 両氏です。 断えず変動する大量の金融サービスのあらゆるデータを正確に取り込み、Google Cloud Dataflow でどのようにデータを変換し、システム間で転送できるようにしているのか、サルヴァトールとセバスチャンが教えてくれます。 投資市場向けの多くのソフトウェア（およびほとんどのエンタープライズ向けシステム）の開発で中心的課題となっているのは、システム間でのデータの変換、価値付加、転送です。 金融市場のデータ量は性質上、予測困難で、ボラティリティによる大きな影響を受けることも多いです。 そのため例えば、毎日のトレードの照合、決済、規制当局への報告書作成用のデータを、データ量に対応しながら必要なタイミングで必要な相手に知らせる仕事には頭を悩ませています。 このような重要な業務プロセスの中で技術的なミスが起きると、商機を逸したり法規制コンプライアンスに違反するなど、さまざまなリスクに不必要にさらされる可能性があります。 投資家の利益を最大化するためには、このような処理を、厳密な予測性、再現性の高さ、あるいは尺度により数値化することが求められます。 このようにデータの処理は極めて重要です。 開発企業はデータの抽出、変換、（ターゲットへの）ロード（ETL）処理を重要視しています。しかし処理可能な量が取引量の増大に追い付かず、ETL のスピードと効率上の限界に直面しています。 決済期間が短くなり総合監査証跡（CAT）が控えている中で、投資情報サービス機関は、データ量に合わせてスケーラブルに対応でき時間に大きく左右されるリスクと運用コストを低減できる、シンプルで高速で強力な手法を必要としています。 これまで開発企業は、データの抽出、変換、ロードを中心とした処理を、地味ではあるものの、ソフトウェア製品を作り上げる際にコンピュータ処理のあらゆる層の中核となる機能を組み込む上で欠かせない要素であると考えてきました。 このため、データ重視型の企業が膨大な数のデータ群から洞察を得る仕事をする際には、ほとんどの場合、何らかの形で ETL が関係しています。 その一方で、現代では、あらゆる分野であらゆる形のデータが発生するため、これらに対応することは、労力的にも、時間的にも、情報能力的にも困難になっています。 この問題にはさまざまな解決方法があるのでしょうが、現代の「ビッグデータ」の世界で要求される効率と効果を実現できる方法はほとんどありませんでした。少なくとも最近までは・・・。 Google Cloud Dataflow サービスと関連ソフトウェア開発キット（SDK）には、さまざまなデータ変換処理用の強力なツールが用意されています。 Google Cloud Dataflow は、マネージドサービス環境内であらゆる規模のデータ処理タスクを実行できるように設計されており、大量の変換処理に要求される機構を簡素化でき、同じプログラミングモデルでバッチ処理とストリーム処理のどちらにも対応できます。 私たちの最新の白書（英語）では、Dataflow でオプション市場の象徴的なデータを取り込み変換処理を行い、結果の Google BigQuery データセットへの保存処理をいつでも行うことのできるアプリケーションの構築と実行とその主要概念を紹介しています。 一言でいえば、Google Cloud Dataflow を使用することで、クラスタ管理に煩わされずにデータ処理の仕事に集中できるようになります。 適切なクラスタサイズの心配をしなくても、Dataflow が、自動的・水平的に、処理条件に合わせて正確にスケーラブルに対応してくれます。 このスケーラビリティ機能には、処理がないときにサイズを 0 に縮小する機能も含まれます。そのため、アイドリング中のクラスタのための費用が発生することはありません。またアプリケーションの実装に必要な作業も標準化されるため、ETL プログラムを作成する労力も軽減されます。 このため、処理機構自体に労力を掛けずに済み、必要なデータ変換作業のみに集中できます。これにより、抽出、変換、ロード作業の柔軟性を高め、時間を短縮し、管理を簡素化できるだけでなく、コスト管理機能を組み込んで効果的な他の Google Cloud サービスと連携させることもできます。 Dataflow パイプラインには、一般的な ETL 機能だけでなく、単純な計数機能からきわめて複雑な多段分析機能まで、さまざまな計算機能が組み込まれています。過去の経験を鑑みるとこのサービスにより、金融機関や監査機関のエンジニアの労力を大幅に軽減できるだけでなく、業務全体の柔軟性、正確性、スケーラビリティ、性能、コスト効率を高められる可能性があります。 マーケットのボラティリティや報告に関する要求に応えられる正確さ、高速応答、低リスクが要求される状況ではトレードの効率とアクセス性を確保が鍵になります。したがってビッグデータの世界でのマーケットデータの変換と解釈は欠かすことができず、一瞬もおろそかにすることはできません。 絶えず増加していくデータを、より高いコスト効率でリアルタイムにスケーラブルに処理できる方法があれば、金融機関は、条件やデータ量に応じた対応が可能になり、急速に進化しつつあるグローバル金融システムへの要求にも応えて行くことができます。 技術白書（英語）で発表させていただいた私たちの経験を、皆様のデータ処理の効率化にお役立ていただければ幸いです。 白書の GitHub のページでは、ビルド可能な完全なプロジェクトソースコードをご覧いただけます。 - Posted by Salvatore Sferrazza, Principal at FIS and Sebastian Just, Manager at FIS
0 件のコメント :
コメントを投稿
Labels
Announcements
App Engine
AppScale
BigQuery
Billing Alerts
Case Study
Certification
Archive
2016
1月
Feed
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿