โดย live นี้เปิดหัวเรื่องก็เริ่มจาก The Data Science Hierarchy of Needs ครับ เพราะเข้าสู่ยุคที่ข้อมูลนั้นโคตรจะมีค่า หลายๆบริษัทต่างเปลี่ยนผ่านมาสู่ยุคของ Digital Transformation จะใช้ข้อมูลยังไงให้เกิดประโยชน์ทำให้องค์กร Focus ในเรื่อง Data Science มาขึ้น ส่วนมากองค์กรจะไป Focus ในส่วนของพวก Analytic และการทำ AI ซะมากกว่า แต่ประเด็นที่ แอดเพิร์ธ ได้ชี้ให้เห็นก็คือ การที่จะไปสู่จุดสูงสุดตรงนั้นได้มันต้องมี Foundation หรือส่วนฐานที่ดีก่อนครับ นั้นคือ ขั้นตอน Collect กับ Move/Store
งานในส่วน Collect กับ Move/Store ตรงนี้จะเป็นส่วนที่ Data Engineer เป็นคนรับผิดชอบ เพราะฉะนั้น Data Engineer เป็นตำแหน่งที่จำเป็นลำดับแรกๆ ถ้าองค์กรนั้นๆคิดที่จะนำข้อมูลไปใช้ประโยชน์
จริงๆแล้วก็อยู่ในส่วนตรงกลางของ Venn Diagram นั้นแหละครับ เพราะคำว่า Data Science มันไม่ได้หมายความถึง Data Scientist เท่านั้น มันหมายถึงทั้งทีมที่ทำงานเกี่ยวกับ Data Science ไม่ว่าจะเป็น Data Scientist, Data Engineer, Data Analysis, Software Engineer, และอื่นๆ แต่โดยความเชี่ยวชาญขั้นพื้นฐานของฝั่ง Data Engineer นั้นจะมี Hacking Skill หรือ Coding Skill ที่สูงครับ Data Engineer รับผิดชอบด้านไหนบ้าง?
1. สร้างและดูแล Infrastructure ซึ่งตัว Infrastructure จะประกอบไปด้วย Data Base : MySQL, PostgreSQL, MongoDB, Microsoft SQL Data Lake: Hadoop HDFS, Amazon S3, Google Cloud Storage, Azure Blob Storage Data Warehouse: Apache Hive, Amazon Redshift, Google BigQuery, Azure Synapse, Snowflake Cloud/On-premise infrastructure: AWS, Azure, Google Cloud
การสร้างและดูแล Data Pipeline ETL/ELT Job Job Monitoring tool ที่ใช้ในงานเหล่านี้ก็จะมี Apache Airflow, Azure Data Factory, Google Cloud Data Fusion, Luigi, OOZiE, Amazon Glue ที่ใช้ทำงาน Task Schedule ซึ่งมีหลายเจ้าเลยครับ แต่ละเจ้าก็จะมีข้อดีข้อเสียแตกต่างกัน 3. การทำงานร่วมกับทีมงานอื่นๆ ในสาย Data ไม่ว่าจะเป็น Data Scientist, Data Analyst, BI Dev, Software Engineer, Marketing, Business Users เป็นต้น
เห็นแล้วตะลึงไปเลยครับสำหรับ Data and AI Landscape ตัวโปรแกรมเกี่ยวกับงานด้าน Data และ AI มีเยอะมากๆ การที่เราจะเรียนรู้ทุกอย่างหมดนี้คงเป็นไปไม่ได้ครับที่จะรู้ลึกทุกโปรแกรม ทางแอดเพิร์ธ ก็ได้พูดไว้เหมือนกันว่า แต่ละบริษัทมี Requirement ของระบบที่แตกต่างกัน นั้นแปลว่าโปรแกรมที่ทำหน้าที่เหมือนกัน ในแต่ละบริษัทก็อาจจะใช้คนละตัวก็ได้ครับ ทำให้การออกแบบ Data Pipeline นั้นต้องดูความเหมาะสม ดู spec ด้วย การที่เราจะรู้แค่โปรแกรมเดียวในหมวดนั้นๆ อาจจะไม่ fit กับบริษัทที่เราไปทำงานด้วยครับ
ทางคุณฝนและแอดเพิร์ธได้ยกตัวอย่าง Qualification & Job Description ของ Data Engineer ที่ KBTG (Kasikorn Business-Technology Group) ซึ่งจริงๆแล้ว แต่บริษัทอาจจะมีความต้องการปลีกย่อยที่แตกต่างกัน ส่วนตัวผมแล้วเราอาจจะต้องเอาหลายๆที่มาดูว่า Main Requirement จริงๆ ที่เราต้องมีนั้นมีอะไรบ้าง แล้วรายละเอียดปลีกย่อยเราค่อยไปเพิ่มตามบริษัทที่เราต้องการจะสมัครครับ
ตรงนี้ผมมองว่าส่วนนี้น่าจะเหมือนกันทุกบริษัทครับ จากการที่ฟัง live เพราะว่ายังไงบริษัทก็ต้องการคนที่มี passion กับงานๆนั้นอยู่แล้ว แต่ในสาย IT สิ่งสำคัญที่เราควรจะทำเป็นบ้างนั้นก็คือ Programming/Coding ครับ ที่เราควรจะรู้ไว้บ้าง ความ hard core หรือ advance แค่ไหนนั้นก็ขึ้นอยู่กับตำแหน่งในทีมนั้นๆ ซึ่งจากเบื้องต้นที่เราพูดถึง live นี้ Data Engineer จะมี Hacking Skill ที่สูง ดังนั้นเราควรรู้เรื่องโปรแกรมและเขียน code ได้ อย่างเช่น Python & SQL
ในส่วนนี้ส่วนตัวได้มีโอกาสได้คุยกับน้องที่ทำงานในสาย Data เค้าบอกว่าบางทีใบปริญญาหรือ certificate มันอาจจะไม่สำคัญเท่ากับว่าคุณทำมันได้จริงๆ หรือไม่ การที่เราจะ prove จุดนี้มันก็มาจากงานที่เราเคยได้ทำมาครับ นั้นคือ Portfolio งาน โดยส่วนมากเค้าก็ทำกันใน Github
จุดนึงที่ผมคิดว่าเป็น idea ที่ดีที่แอดเพิร์ธได้พูดใน live เราจะฝึกเรื่อง communication skill และอีกอย่างเป็นการทำความเข้าใจสิ่งที่เราเรียนอย่างพวก Technical Topic/Technical Term คือ เอาสิ่งที่เรียนมาเขียนหรืออธิบายให้เพื่อนฟังให้เข้าใจง่าย จุดนี้มันก็จะช่วย prove อีกจุดครับว่าเราเข้าใจในสิ่งนั้นจริงๆ ไม่ใช่แค่เรียนๆๆมาแล้วได้ ใบ Certificate แล้วจบ
Youtube Channel: Data Council, Google Cloud Platform, PyData
O’REILLY: สมัครผ่าน ACM เพื่อให้ได้ค่าสมาชิกในราคาพิเศษปีละ $40
MOOC/Online Course: Data Camp, UDACITY, DATAQUEST
สุดท้ายของ Live นี้ก็มีการโปรโมท Course Online ที่ทาง DataTH ได้จัดขึ้น Road to Data Engineer ครั้งที่#2 เป็นครั้งสุดท้ายของปีที่นี้จะจัดขึ้นครับ ซึ่งผู้ที่สนใจก็เข้าไปดูรายละเอียดจาก Link นี้ได้เลยครับว่าเนื้อหามีอะไรบ้าง ในส่วนตัวผมเองนั้นติดตามเพจ Data Science ชิลๆ และชอบการนำเสนอข้อมูลของเพจนี้อยู่แล้ว เลยตัดสินใจสมัครเรียนกับทาง DataTH ไปครับ แล้วไงเรียนจบแล้วผมจะมาสรุปคร่าวๆ อีกทีว่าได้อะไรจากการเรียนบ้างในแต่ละ Week ครับ