Logo bg.boatexistence.com

Паркетният файл има ли схема?

Съдържание:

Паркетният файл има ли схема?
Паркетният файл има ли схема?

Видео: Паркетният файл има ли схема?

Видео: Паркетният файл има ли схема?
Видео: Работа с файлами в Python. Чтение и запись данных 2024, Може
Anonim

Parquet файл е hdfs файл, който трябва да включва метаданните за файла. Това позволява разделяне на колони на множество файлове, както и единичен файл с метаданни, който препраща към множество паркетни файлове. Метаданните включват схемата за данните, съхранявани във файла.

Как да създам схема за файл за паркет?

За да генерирате схемата на примерните данни за паркет, направете следното:

  1. Влезте в полето Haddop/Hive.
  2. Той генерира схемата в stdout, както следва: -------------- [~] схема за паркет-инструменти abc.parquet. съобщение hive_schema { …
  3. Копирайте тази схема във файл с. паркет/. номинално разширение.

Поддържа ли паркет еволюция на схемата?

Сливане на схеми

Подобно на протоколен буфер, Avro и Thrift, Parquet също поддържа еволюция на схемата Потребителите могат да започнат с проста схема и постепенно да добавят още колони към схемата според нуждите. По този начин потребителите могат да получат множество паркетни файлове с различни, но взаимно съвместими схеми.

Паркетните файлове имат ли типове данни?

Типове данни на файл за паркет се преобразуват в типове данни за трансформация, които услугата за интегриране на данни използва за преместване на данни между платформи. Схемата на Parquet, която сте посочили за четене или запис на Parquet файл, трябва да бъде с по-малък регистър.

Каква е структурата на паркетния файл?

Паркетните файлове са съставени от групи редове, горен и долен колонтитул Всяка група редове съдържа данни от едни и същи колони. Едни и същи колони се съхраняват заедно във всяка група редове: Тази структура е добре оптимизирана както за бърза производителност на заявките, така и за ниско ниво на I/O (минимизиране на количеството сканирани данни).

Препоръчано: