Перейти к основному содержимому
Перейти к основному содержимому

Данные об авиаперевозках от сети OpenSky 2020 года

Данные в этом наборе данных получены и очищены из полного набора данных OpenSky, чтобы проиллюстрировать развитие авиаперевозок в период пандемии COVID-19. Он охватывает все рейсы, зафиксированные более чем 2500 участниками сети с 1 января 2019 года. Дополнительные данные будут периодически добавляться в набор данных до окончания пандемии COVID-19.

Источник: https://zenodo.org/records/5092942

Martin Strohmeier, Xavier Olive, Jannis Luebbe, Matthias Schaefer и Vincent Lenders
"Данные о авиаперевозках от сети OpenSky 2019–2020"
Earth System Science Data 13(2), 2021
https://doi.org/10.5194/essd-13-357-2021

Скачать набор данных​

Запустите команду:

Скачивание займет около 2 минут с хорошим интернет-соединением. Всего 30 файлов размером 4.3 ГБ.

Создать таблицу​

Импортировать данные​

Загрузите данные в ClickHouse параллельно:

  • Здесь мы передаем список файлов (ls -1 flightlist_*.csv.gz) в xargs для параллельной обработки. xargs -P100 указывает использовать до 100 параллельных работников, но так как у нас всего 30 файлов, количество работников будет только 30.
  • Для каждого файла xargs запустит скрипт с bash -c. Скрипт имеет подстановку в виде {}, и команда xargs заменит это на имя файла (мы запросили это для xargs с -I{}).
  • Скрипт разожмёт файл (gzip -c -d "{}") и вывод перенаправляется на clickhouse-client.
  • Мы также попросили разобрать DateTime поля с помощью расширенного парсера (--date_time_input_format best_effort), чтобы распознать формат ISO-8601 с временными смещениями.

Наконец, clickhouse-client выполнит вставку. Он прочитает входные данные в формате CSVWithNames.

Параллельная загрузка занимает 24 секунды.

Если вам не нравится параллельная загрузка, вот последовательный вариант:

Проверить данные​

Запрос:

Результат:

Размер набора данных в ClickHouse составляет всего 2.66 ГБ, проверьте это.

Запрос:

Результат:

Выполнить некоторые запросы​

Общее расстояние, пройденное самолетами, составляет 68 миллиардов километров.

Запрос:

Результат:

Среднее расстояние полета составляет около 1000 км.

Запрос:

Результат:

Самые загруженные аэропорты отправления и среднее расстояние​

Запрос:

Результат:

Количество рейсов из трех основных московских аэропортов, за неделю​

Запрос:

Результат:

Онлайн площадка​

Вы можете протестировать другие запросы к этому набору данных, используя интерактивный ресурс Онлайн площадка. Например, как это. Однако обратите внимание, что здесь нельзя создавать временные таблицы.