מעקב אחר יומנים והצגתם בשירות העברת נתונים ל-BigQuery

מעקב ורישום ביומן של שירות העברת הנתונים ל-BigQuery מספקים מידע על הביצועים והסטטוס של עומס העבודה בשירות. שירות העברת הנתונים ל-BigQuery מייצא נתוני מעקב ל-Cloud Monitoring.

מעקב אחרי שירות העברת נתונים ל-BigQuery

אפשר להשתמש במדדי המעקב למטרות הבאות:

• הערכת השימוש והביצועים של הגדרת העברת נתונים.
• פתרון בעיות.
• בדיקת הסטטוס של העברת נתונים.

כדי ליצור לוחות בקרה בהתאמה אישית, להגדיר התראות ולשאול שאילתות על מדדים באמצעות Monitoring, אפשר להשתמש במסוף או ב-Monitoring API. Google Cloud

הצגת נתוני ההעברה ב-Metrics Explorer

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעקב

2. בחלונית הניווט, לוחצים על Metrics Explorer.

3. בוחרים את הפרויקט הרצוי.

4. בתיבה Find resource type and metric (חיפוש סוג משאב ומדד), מזינים את הפרטים הבאים:

   • בשדה Resource type, מזינים BigQuery DTS Config.

   • בקטע מדד, בוחרים אחד מהמדדים שמופיעים במדדי מעקב להגדרות העברה, לדוגמה, Completed run count.

     

5. אופציונלי: בוחרים את האפשרות 'התאמה', 'הפחתה' ופרמטרים אחרים.

6. המדדים מוצגים בחלון כלי לבחירת מדדים.

   

הגדרת התראות ב-Cloud Monitoring

אתם יכולים להגדיר התראות ב-Monitoring למדדים של שירות העברת נתונים ל-BigQuery:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעקב

2. בחלונית הניווט, בוחרים באפשרות התראות > יצירת מדיניות.

   מידע נוסף על מדיניות התראות ועל המושגים שמאחוריה זמין במאמר סוגים של מדיניות התראות.

3. לוחצים על הוספת תנאי ובוחרים סוג תנאי.

4. בוחרים מדדים ומסננים. לגבי מדדים, סוג המשאב הוא BigQuery DTS Config.

5. לוחצים על שמירת התנאי.

6. מזינים שם למדיניות ולוחצים על שמירת המדיניות.

מידע נוסף על מדיניות התראות ומושגים שקשורים אליה זמין במאמר מבוא להתראות.

הגדרת מרכזי בקרה בהתאמה אישית ב-Cloud Monitoring

אפשר ליצור לוחות בקרה בהתאמה אישית על מדדים של שירות העברת נתונים ל-BigQuery:

1. נכנסים לדף Monitoring במסוף Google Cloud .

   מעקב

2. בחלונית הניווט, בוחרים באפשרות מרכז בקרה > יצירת לוח בקרה.

3. לוחצים על הוספת תרשים.

4. נותנים שם לתרשים.

5. בוחרים מדדים ומסננים. לגבי מדדים, סוג המשאב הוא BigQuery DTS Config.

6. לוחצים על Save.

מידע נוסף מופיע במאמר בנושא ניהול לוחות בקרה בהתאמה אישית.

תדירות הדיווח על מדדים ושמירת הנתונים

מדדים של הרצות של שירות העברת נתונים ל-BigQuery מיוצאים ל-Monitoring באצוות, במרווחי זמן של דקה אחת. הנתונים של כלי המעקב נשמרים למשך 6 שבועות.

לוח הבקרה מספק ניתוח נתונים במרווחי זמן שמוגדרים כברירת מחדל: 1h (שעה אחת), 6H (6 שעות), 1D (יום אחד), 1W (שבוע אחד) ו-6W (6 שבועות). אפשר לבקש ניתוח ידני בכל מרווח זמן בין 1M (דקה אחת) לבין 6W (6 שבועות).

מעקב אחרי מדדים של הגדרות העברה

המדדים הבאים של הגדרות שירות העברת נתונים ל-BigQuery מיוצאים ל-Monitoring:

סינון מאפיינים לפי מדדים

המדדים מצטברים לכל הגדרה של שירות העברת נתונים ל-BigQuery. אפשר לסנן מדדים מצטברים לפי המאפיינים הבאים:

יומנים של שירות העברת נתונים ל-BigQuery

כל הרצה של שירות העברת הנתונים ל-BigQuery מתועדת באמצעות Cloud Logging. הרישום ביומן מופעל אוטומטית לכל העברות הנתונים.

התפקידים הנדרשים

התפקיד 'צפייה ביומנים' (roles/logging.viewer) נותן הרשאת קריאה בלבד לכל התכונות של Logging. במדריך לבקרת גישה ב-Logging תוכלו לקרוא מידע נוסף על ההרשאות והתפקידים ב-IAM שחלים על נתוני Logging.

צפייה ביומנים

כדי להציג את היומנים, עוברים לדף Logs Explorer.

כניסה לדף Logs Explorer

יומני שירות העברת הנתונים ל-BigQuery עוברים אינדוקס קודם לפי הגדרת ההעברה ואחר כך לפי ההפעלה של ההעברה.

צפייה ביומנים של הפעלת העברה

כדי להציג רק את הרשומות ביומן מהעברה מסוימת run_id, בQuery builder, מוסיפים את המסננים הבאים:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

צפייה ביומנים של הגדרות ההעברה

כדי להציג רשומות ביומן מהעברה מסוימת config_id, מוסיפים את המסננים הבאים בQuery builder:

resource.type="bigquery_dts_config"
resource.labels.config_id="transfer_config_id"

הצגת כל היומנים

כדי לראות את כל היומנים של שירות העברת נתונים ל-BigQuery, מבצעים אחת מהפעולות הבאות:

• בחלונית Fields, בשדה Resource type, בוחרים באפשרות BigQuery DTS Config.

  

• בQuery builder, מוסיפים את המסנן הבא:

  resource.type="bigquery_dts_config"

מידע נוסף על השימוש ב-Log Explorer זמין במאמר שימוש ב-Log Explorer.

פורמט היומן

שירות העברת נתונים ל-BigQuery מתעד הודעות בפורמט הבא:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

מה נרשם ביומן

רשומות ביומן של שירות העברת נתונים ל-BigQuery מכילות מידע שימושי למעקב אחר הרצות של העברות ולניפוי באגים בהן. רשומות ביומן מכילות את סוגי המידע הבאים:

• ‫timestamp: משמש לחישוב הגיל של רשומת היומן ולאכיפה של תקופת השמירה של היומן
• severity: יכול להיות INFO, ‏ WARNING או ERROR
• ‫message_text: מכיל מחרוזת שמסבירה את הסטטוס הנוכחי של הרצת ההעברה

המאמרים הבאים

• מידע נוסף על מעקב
• סקירה כללית על יומני ביקורת של Cloud ועל Cloud Logging