Любые идеи для отображения данных с 6 миллионов строк?

Question

Я только что попытался импортировать его в Excel, но он может принять только более миллиона строк данных. Это 3 столбца данных, и все, что я хочу сделать, это граф столбца 1 против 2 и 3 для двух графиков.

Я имею в виду создание препроцессора сетки, который делит 2D-ландшафт на ячейки и помечает каждую ячейку как имеющую или не имеющую элемент внутри. Будет существенным фактором для того, чтобы сделать ячейки достаточно маленькими, чтобы различать информацию из графика, и в то же время достаточно большими, чтобы заполнить ячейки менее 1 миллиона, чтобы они соответствовали требованиям Excel.

Пока я занимаюсь этим или чем-то еще, кто-нибудь знает, как легко отобразить все данные?

Answer 1

Вы также можете попробовать сэмплировать данные. Возьмите только один из десяти (или один в хундерте) ряд и постарайтесь построить результат. Если ваша выборка действительно случайная, у вас должен быть график, который в значительной степени представляет "популяцию"

Answer 2

Сохраните его как разделенный запятыми файл и загрузите его в R с помощью команды

data <- read.csv('mybigfatfile.csv', header=T)

(здесь я предполагаю, что первая строка - это заголовки; если заголовков нет, установите заголовок в F). Если имена столбцов A, B и C, то вы можете построить как

plot(data$A, data$B, col=rgb(100,80,0,10, max=255), pch=16)

Здесь цвет будет rgb(100,80,0), а белый будет rgb(255,255,255) и непрозрачность 10 (из 255). Согласно ответу Momobo, вы можете взять случайную выборку, если 6 миллионов занимает слишком много времени для отображения:

idx <- sample.int(length(data$A), 10000)
plot(data$A[idx], data$B[idx], col=rgb(100,80,0,10, max=255), pch=16)

Здесь мы выбираем 10000 случайных целых чисел (от 1 до длины (данные $ A)).

Чтобы получить справку по командам R, введите? с последующей командой, например,

?plot

Тем не менее, R имеет крутой кривой обучения. Но я думаю, это один из способов.

Answer 3

Я столкнулся с той же проблемой. Наконец, я использовал MSChart с c #, загрузил данные по коду и нарисовал их на графике.

Я думаю, что это видео поможет https://www.youtube.com/watch?v=82jnryBxsnI

Вы также можете увеличить график.