Javascript Disabled Detected

You currently have javascript disabled. Several functions may not work. Please re-enable javascript to access full functionality.

Python, MongoDB, XLSX

Started by DarkTwin, Oct 31 2016 19:00

Reply to this topic

10 replies to this topic

#1 DarkTwin

Пернатый пЫнгвЫн

True Members
3227 posts

293
Очень хороший

Пол:Мужчина

Posted 31 October 2016 - 19:10

Давайте пообщаемся

У меня, по всей видимости, не понимание каких то основ.

Ради развлечения написал сбор данных с росреестр. Там обычный rest api, правда описания нет, но кого это останавливает.

Отдает он в json - по этому монга.

Данные собрал - надо фильтровать нужные поля и выводить для дальнейшего анализа.

Ок - проблем нет collection.find({...}, {...}).where(..)

А вот дальше у меня каша.

Как мне из полученного массива данных, красиво, структурировано, возможно в шаблон, вывести данные?

Конечно можно не xlsx, а cvs.

PS.

Пишу тут, а не на профильных форумах - ради общения

Маленький вывод

Меня интересует адрес и кадастр. Площади и стоимости на потом.

Spoiler

[
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1030",
            "apartment": "1-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1031",
            "apartment": "10-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1032",
            "apartment": "11-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1033",
            "apartment": "12-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1034",
            "apartment": "1ЛК",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1035",
            "apartment": "2-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1036",
            "apartment": "2ЛК",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1037",
            "apartment": "3-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1038",
            "apartment": "4-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1039",
            "apartment": "5-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1040",
            "apartment": "6-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1041",
            "apartment": "7-Н,13-Н,14-Н,15-Н,16-Н,17-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1042",
            "apartment": "8-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1043",
            "apartment": "9-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1044",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1045",
            "apartment": "2-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1046",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1047",
            "apartment": "1ЛК",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1048",
            "apartment": "2-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1049",
            "apartment": "2ЛК",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1050",
            "apartment": "3-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1051",
            "apartment": "3ЛК",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1052",
            "apartment": "4-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1053",
            "apartment": "4ЛК",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1054",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "4"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1055",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "2"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1056",
            "apartment": "2-Н",
            "street": "Ветеранов",
            "building": "2"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1057",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "4"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1058",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1059",
            "apartment": "2-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1060",
            "apartment": "3-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1061",
            "apartment": "4-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1062",
            "apartment": "5-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1063",
            "apartment": "6-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1064",
            "apartment": "7-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1065",
            "apartment": "8-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "91",
            "id": "78:15:843401:1066",
            "apartment": "9-Н",
            "street": "Ветеранов",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1067",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "2"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1068",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1069",
            "apartment": "1-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1070",
            "apartment": "10-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1071",
            "apartment": "11-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1072",
            "apartment": "12-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1073",
            "apartment": "13-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1074",
            "apartment": "14-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1075",
            "apartment": "15-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1076",
            "apartment": "16-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1077",
            "apartment": "17-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1078",
            "apartment": "1н.ч.",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1079",
            "apartment": "2-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1080",
            "apartment": "3-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1081",
            "apartment": "4-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1082",
            "apartment": "5-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1083",
            "apartment": "6-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1084",
            "apartment": "7-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1085",
            "apartment": "8-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1086",
            "apartment": "9-Н",
            "street": "Ветеранов",
            "building": "3"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "1",
            "id": "78:15:843401:1089",
            "apartment": "1-Н",
            "street": "Солдата Корзуна",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "1",
            "id": "78:15:843401:1090",
            "apartment": "2-Н",
            "street": "Солдата Корзуна",
            "building": "1"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "89",
            "id": "78:15:843401:1091",
            "apartment": "1н.ч.",
            "street": "Ветеранов",
            "building": "4"
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1094",
            "apartment": "7-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1095",
            "apartment": "15-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1096",
            "apartment": "17-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1097",
            "apartment": "13-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1098",
            "apartment": "16-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   },
   {
      "objectData": {
         "objectAddress": {
            "house": "23",
            "id": "78:15:843401:1099",
            "apartment": "14-Н",
            "street": "Бурцева",
            "building": null
         }
      }
   }
]

1

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц

#2 Beowulf

Злобный программист

True Members
1876 posts

201
Очень хороший

Пол:Мужчина
Интересы:Программирую все, что можно

Posted 01 November 2016 - 17:29

Смаппить в структуру/объект или что-то ещё что есть в питоне?

0

Блог ведущего Java программиста

#3 key

-=SunKain=-

True Members
2489 posts

12
Обычный

Пол:Мужчина
Город:Аден

Posted 01 November 2016 - 17:40

А может тупо забить на Python и переписать все на C#?

Там тем более у них есть уже DataProvider обертка для работы с MongoDB. Все бесплатно.

И маппинг простой получится.

0

Mess with the best
Die like the rest

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#4 DarkTwin

Пернатый пЫнгвЫн

True Members
3227 posts

293
Очень хороший

Пол:Мужчина

Posted 01 November 2016 - 18:47

Смаппить в структуру/объект или что-то ещё что есть в питоне?

dictionary если взять python... Вообще есть вполне себе структура JSON. Вот только под миллион записей так обрабатывать в словаре... что то тут не так. Занимает секунды, но все ровно что то не так. К тому же у меня проблема в осознании структуры самого json.

А может тупо забить на Python и переписать все на C#? Там тем более у них есть уже DataProvider обертка для работы с MongoDB. Все бесплатно. И маппинг простой получится.

- чем C# лучше ? И это риторический вопрос.

- DataProvider... PyMongo https://api.mongodb....python/current/ и появился он чуть ли не самый первый. Бесплатно это хорошо, но и тут не за деньги.

- у меня нет проблемы вывести данные. у меня проблема сделать это красиво и правильно А да еще хотелось бы в шаблон

До кучи. "Валидатор" json не подскажите ?

0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц

#5 Beowulf

Злобный программист

True Members
1876 posts

201
Очень хороший

Пол:Мужчина
Интересы:Программирую все, что можно

Posted 02 November 2016 - 00:41

jsonlint.com

джейсон маппит объекты в {} и массивы/списки/коллекции/мапы в []

если объект, всё просто:

{ "field1" : "fieldValue1", ... }

"fieldValue1" - может быть чем угодно (значение, объект, массив) "field1" : { "innerObjectField" : "innerObjectFieldValue" }

всё просто )

а насчёт красиво - для красивости ты как раз описываешь словарь, в который у тебя автоматически будет маппится ответ

0

Блог ведущего Java программиста

#6 DarkTwin

Пернатый пЫнгвЫн

True Members
3227 posts

293
Очень хороший

Пол:Мужчина

Posted 02 November 2016 - 10:15

Статья как по заказу

https://habrahabr.ru...ru/blog/314014/

0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц

#7 key

-=SunKain=-

True Members
2489 posts

12
Обычный

Пол:Мужчина
Город:Аден

Posted 02 November 2016 - 16:26

Ты же пообщаться хотел

C# просто для других целей. Тем более мой личный опыт основывается на C#, поэтому и предложил.

0

Mess with the best
Die like the rest

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#8 DarkTwin

Пернатый пЫнгвЫн

True Members
3227 posts

293
Очень хороший

Пол:Мужчина

Posted 02 November 2016 - 18:34

Ну тогда мое предложение - Go

А конкретнее как то так

https://yadi.sk/i/GVHQjpZ8xyR7c

Идея сделать отдельно утилиту на GO для разбора и переконвертации мне понравилась. Надо сделать еще один велосипед

Я не имею ни чего против C#, но менять язык только потому что в текущем что от не получается, притом не получается исключительно из за незнания, а не потому что нельзя - глупо.

Пока остановился на разборе ручками - создание словарей - вывод из словаря в csv

А дальше пусть экономисты развлекаются.

0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц

#9 Beowulf

Злобный программист

True Members
1876 posts

201
Очень хороший

Пол:Мужчина
Интересы:Программирую все, что можно

Posted 03 November 2016 - 00:10

И чего людей на всякое непотребство тянет?)

0

Блог ведущего Java программиста

#10 key

-=SunKain=-

True Members
2489 posts

12
Обычный

Пол:Мужчина
Город:Аден

Posted 08 November 2016 - 18:10

Скучно, наверное.

Жены нет, детей нет, времени свободного дофигищи

0

Mess with the best
Die like the rest

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#11 DarkTwin

Пернатый пЫнгвЫн

True Members
3227 posts

293
Очень хороший

Пол:Мужчина

Posted 08 November 2016 - 18:17

Угадал только про детей.

Если бы было время или много людей - делали бы руками

Все это для https://www.reformagkh.ru https://dom.gosuslugi.ru/#!/main

Я в управляющей компании работаю

В принципе все сделал.

База по 20 кварталам у меня есть.

Если вдруг кому эта хрень нужна будет - дам.

0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц

Back to Флейм

Reply to this topic

1 user(s) are reading this topic

0 members, 1 guests, 0 anonymous users

Python, MongoDB, XLSX

Reply to this topic

1 user(s) are reading this topic

Sign In