본문 바로가기

Azure

DataFactory에서 Databricks Notebook 실행 시 Job Aborted 에러 발생(원인, 해결)

Q. DataFactory에서 Pipeline에 Databricks Notebook을 추가하여 실행했는데 Job Aborted 에러가 발생했다.

 

A. Databricks Notebook 내 Insert-Select 를 실행하는 부분에서 발생한 에러였다.

Insert - Select문 사용시, Select문에 나열한 컬럼과 Insert할 테이블의 컬럼 순서가 동일해야 하는데, 이부분에서 다른 순서로 작성한 부분이 있어서 에러가 발생했다...

컬럼 순서 맞춰주고 재실행하니 정상적으로 수행완료.

Databricks