Trong nội dung bài viết trước về Hệ thống OCR dìm diện Chứng minh tlỗi nhân dân VN, Cửa Hàng chúng tôi đang reviews thành phầm của team Vision, quá trình triển khai cơ bạn dạng của sản phẩm cũng như một trong những quy mô được team áp dụng. Đa phần thời hạn Shop chúng tôi xử trí tài liệu cùng giảng dạy mô hình bằng dòng lệnh.

Bạn đang xem: Airflow là gì

Các tác vụ dần trngơi nghỉ phải đụng hàng cùng tẻ nphân tử khi số lượng tài liệu lớn dần. Chúng tôi đề xuất triển khai các thực nghiệm tương tự nhau. Chúng cũng tiêu tốn nhiều thời gian với nhân lực vào công tác làm việc quan sát và theo dõi, phân phát hiện tại bug và các lỗi ngu. Như vậy được khắc phục và hạn chế phần làm sao bằng phương pháp viết một số trong những script auto nhỏng Bash, Maketệp tin, hay Raketệp tin. Tuy nhiên, việc cai quản những tiến trình cùng những thư viện nhờ vào lại ko không giống gì một cơn ác mộng. Dường như, việc đưa một luồng tất cả sẵn lên một sever new cũng tốn không ít thời gian đến Việc thiết lập lúc đầu khi những bug tạo ra.

Chính vì vậy, Cửa Hàng chúng tôi ưu tiên bài toán auto hóa quy trình lên trước tiên. Tức là yêu cầu có một phép tắc cung cấp luồng ETL, thông qua đó tự động hóa hoá quy trình sẵn sàng tài liệu, giảng dạy cùng trích xuất mô hình. Trong quá trình kiếm tìm kiếm, Kubeflow Pipelines làm nên sự chăm chú cùng với Cửa Hàng chúng tôi bởi lẽ vì nó coi các Docker container như những tác vụ rất cần được auto hóa. Tuy nhiên, giải pháp này lại quá nặng trĩu nài nỉ với phức hợp Khi được thực hiện trên nền Kubernetes, ko phù hợp với đội nghiên cứu Shop chúng tôi. Sau các sự Để ý đến, công ty chúng tôi đang phát hiển thị một giải pháp phù hợp hơn, đó là: Airflow.

Xem thêm: Thế Nào Là Nhóm Gen Liên Kết Là Gì, Liên Kết Gen Và Hoán Vị Gen

Qua nội dung bài viết này tôi đã trình bày biện pháp Shop chúng tôi chuyển Airflow vào nhằm áp dụng để tự động hóa hóa tiến trình cũng giống như hồ hết tay nghề mà công ty chúng tôi đúc kết được.

Cấu trúc

Dưới đó là tưởng tượng qua về cấu trúc cơ mà chúng tôi sử dụng:

*

Sau lúc có được một quy trình thủ công bằng tay bằng tay thủ công ổn định, Shop chúng tôi gói các đồ vật thành Docker container. Việc dễ dàng và đơn giản sót lại là viết code hướng dẫn mang lại Airflow. Airflow sẽ diễn giải bọn chúng thành một luồng tự động (ví dụ: cách xử lý dữ liệu, huấn luyện, kiểm test với trích xuất tế bào hình) chuẩn bị sẵn sàng nhằm Shop chúng tôi kích hoạt. /data với /export ngơi nghỉ hình vẽ phía trên là những thỏng mục được mount chủng loại nhưng Shop chúng tôi dùng để làm lưu trữ tài liệu với những quy mô.

Việc thiết đặt Airflow dễ dãi, song lại tốn thời hạn cùng với Việc thiết lập thêm hệ cơ sở tài liệu (ví dụ: Postgres) đến tác vụ tàng trữ, tốt là tích vừa lòng Docker… Vì vậy, Cửa Hàng chúng tôi sử dụng docker-compose nhằm nhanh lẹ cài đặt cùng khởi cồn Airflow chỉ bởi một lệnh cơ bản độc nhất docker-compose up airflow.