Profile-Image

林聖倫 Marcus Lin

大數據工程師
淡江大學

Information

畢業
June, 2019

專長
統計分析以及資料處理

More about me
資策會[巨量資料分析]

電話
+886-903-671-355

Email
s09203647@gmail.com

   關於我

在成為工程師之前，我擁有四年多的金融業經驗，主要負責推廣公司商品並控管交易風險。在這段時間，我不僅學到了業務運作和風險管理的知識，還提升了與客戶及同事之間的溝通和協作能力。轉型為工程師後，我保持著對學習新事物的熱情，並且在解決問題時善於運用邏輯思維來設計與實現創新的解決方案。

   工作經歷

   一元素科技股份有限公司

   大數據工程師

  • 建立和維護穩健的數據管道和數據庫，開發後端應用程序以促進API的集成，增強模型預測，並實現高效的前端數據傳輸。

  • 通過設計和實施腳本自動化內部報告流程，將BOM規格轉換為標準化的工廠格式，自動化腳本能夠有效減少三天份人力

  • 深入研究和評估開源工具，包括Kubernetes、Hadoop和GitLab CI/CD，以提升團隊生產力。編寫一些tutorial，使工程團隊能夠有效實施和使用這些工具。

   康和綜合證券

   專員

  • 客戶聯繫與協助業務推廣

  • 客戶風險查核及檢視每日異常交易

  • 洗錢防制

   技術領域

   資料庫

   資料預處理

   資料流

   容器化操作應用程序

   後端(Restful API)

   後端(Restful API)

   工作排程

   自動化

   版本控制

超純水即時水質預測

  • 使用ClickHouse來架設資料庫並優化資料讀取效能，透過ClickHouse提供的高效查詢模型，提升資料存取速度和效能。

  • 使用Python Flask框架開發API，將預測模型與前端Dashboard進行串接，實現即時資料預測功能。同時，前端頁面會回傳相關的操作日志資料至資料庫，進行後續分析與處理。

  • Shell Script，自動化日常流程，資料庫定期更新，無停機重啟程式，保證服務的高可用性和穩定性。

Project Image

晶圓蝕刻偵測

  • 利用Redis作為資料緩存系統，實現高效的資料讀取與回傳。將頻繁存取的資料存儲在Redis中，提升整體系統效能。

  • 設計並實作JWT 驗證機制，保證使用者在註冊、登入及後續操作中的安全性。

  • 使用FastAPI來構建後端API，與前端進行資料互動串接。利用FastAPI的高效能特性，保證系統在高並發情況下仍能保持低延遲並確保數據流順暢和即時性。

  • 設計客戶端登入系統，並透過安全的API與資料庫進行數據交換。

Project Image2

Finance project with Telegram bot

  • 以Fastapi為核心，建立Telegram bot與客戶端進行互動

  • 利用Apache Airflow完成定期抓取資料及匯入資料的功能

  • 利用matplotlib建立分析圖片供Telegram bot調用

  • 完整log記錄程式以利追蹤

  • 容器化以方便部屬及維護(Dockerfile)

  • 心靈雞湯產生器

    • [機器人連結]
Project Image