☰

DDL에서 메타데이터 추출

tag-icon • tag-icon text-processing text-formatting
DDL에서 메타데이터 추출

특정 스키마에 존재하는 테이블 목록이 포함된 파일을 만들었습니다. 각 테이블의 열 세부정보를 추출하고 이를 다른 파일에 써야 합니다.

describe test_table
+-----------+------------+------------+
| col_name  | data_type  |Comment     |
+-----------+------------+------------+
| Name      | string     |My Name     |
| Age       | string     |My Age      |
+-----------+------------+------------+

출력 파일에는 다음 세부정보가 포함되어야 합니다.

test_table,Name,String,My Name
test_table,Age,string,My Age

답변1

$ cat extract-columns.pl
#!/usr/bin/perl -l

while(<>) {
  # Is the current line a "describe" line?
  if (m/describe\s+(.*)/i || eof) {
    $table = $1;
    next;
  };

  # skip header lines, ruler lines, and empty lines
  next if (m/col_name|-\+-|^\s*$/);

  # remove pipes and spaces at beginning and end of line
  s/^\|\s*|\s*\|\s*$//g;

  # remove spaces surrounding pipe characters
  s/\s*\|\s*/|/g;

  # extract field name by splitting input line on pipe chars
  my ($name, $type, $comment) = split /\|/;
  print join(",", $table, $name, $type, $comment);
}

예제 출력:

$ ./extract-columns.pl table2.txt 
test_table,Name,string,My Name
test_table,Age,string,My Age

답변2

그리고 awk:

awk -v OFS="," 'NR==1{ tblName=$2; FS="|"; next }
NF>1 && NR>4{ $1=tblName; gsub(/ *, */, ","); sub(/,$/, ""); print }' infile

산출:

test_table,Name,string,My Name
test_table,Age,string,My Age

gsub()각 필드에서 선행 및 후행 공백을 제거하고 후행 쉼표를 제거합니다
.sub()

관련 정보