Лесной форум Гринпис России

Здесь Вы можете обсудить "лесную" тему, задать вопрос специалистам по лесному хозяйству, лесной экологии, охране лесов.





Начать новую тему Ответить на тему   Список форумов » Лес, лесное хозяйство, лесовосстановление » Государственное управление лесами
Показать сообщения за:  Поле сортировки  
Автор Сообщение
 Заголовок сообщения: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 29 окт 2017, 23:08 

Сообщения: 55

Есть ли смысл пропарсить сайт егаис?если да то ккакая информация может быть полезной?в частности возникла идея наладить выгрузку по договорам аренды.может вопрос глупый и есть другие способы получить доступ ко всей базе?просто особо не копал,а решил задать вопрос.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 30 окт 2017, 10:00 
Грешнов Сергей Петрович
Аватара пользователя

Сообщения: 7273
Откуда: Подольск

gornak писал(а):
Есть ли смысл пропарсить сайт егаис?если да то ккакая информация может быть полезной?
Кроме информации об арендованной территории интереса для участников лесных отношений данные с сайта интереса не представляют. Это, своего рода, "ушедший поезд". Срубил арендатор лесосеку и срубил. Ни жарко ни холодно от этого никому. Новые арендаторы сначала ищут свободные от закрепления территории. Второй шаг - выяснить характеристики лесного фонда на них по укрупненным параметрам - сколько они там могут взять разрешенного к рубке предпочтительно спелого леса. И наконец, для подготовки проекта им нужна повыдельная информация, без которой придется все нужные данные выковыривать из бумаги или нанимать монополистов - "базодержателей".
Весь остальной бред в федеральных ИСах нужен только студентам, аспирантам и прочим "диссертантам". Никакой практической пользы для деловой сферы они не имеют, поскольку агрегированные данные того же ГЛР, который хотят слить с ЕГАИС, устарели, а откорректировать по ДЗЗ их нельзя, так как это возможно также только на повыдельном уровне. Примерно так.
Вы лучше поподробнее опишите Ваши возможности... может более стоящие идеи появятся... ))

_________________
ООО"ЛесИС", ГИС TopoL-L - непрерывное лесоустройство для лесного хозяйства
http://www.lesis.ru/prices/videotour.htm


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 30 окт 2017, 18:54 
Аватара пользователя

Сообщения: 111
Откуда: Псковская область

gornak писал(а):
Есть ли смысл пропарсить сайт егаис?если да то ккакая информация может быть полезной?в частности возникла идея наладить выгрузку по договорам аренды.может вопрос глупый и есть другие способы получить доступ ко всей базе?просто особо не копал,а решил задать вопрос.

Мы откопали полезность ЕГАИС.
Сделали выгрузку ( к сожалению более 10 тыс не дает), но нам и этого хватило.
Выявили сезонность спроса на лесоматериалы и объем фактических продаж в субъекте. Все это нужно для выявления объема спроса. Далее поняли кому продали, откинули скрытые продажи (сами себе), выявили тех, кто покупает делянками - то есть покупатели второй очереди, а в результате (что и было нужно) получили деревообработчиков (далее уточнили прозвоном).
А выявляли мы потенциальную возможность строительства деревообрабатывающего производства и обеспеченности его сырьем. Точность просчитывалась до выхода объема пиломатериалов в смену, а так же их вида.
Кстати просчет велся на 80 лет с учетом перехода из приспевающих в спелые при разных вариантах объемов ежегодного размера пользования, с учетом правильных рубок ухода (осветления, прочистки) и достаточных объемов посадки лесных культур.
Этой работой почти никто не занимается, тыкают заводы где придется, а потом их закрывают, ввиду отсутствия сырья. А помогал нам в этом ЕГАИС (при выполнении этой задачи еще нам помогла коммерческая программа о контрагентах, немного логики опыта и пользования интернетом). Согласно открытым данным Лес ЕГАИС, среднемесячный объем сделок по лесоматериалам за 2016-2017 год на территории Нашего субъекта возрос в 2,5 раза. Причем январь 2016 меньше июля 2017 по объему сделок, а если сравнивать помесячно, то в 2,5 раза. Оценка точности здесь делалась по отношению сделок и поданных деклараций. Это хорошие показатели экономики. Нам не хватило открытых данных по видам лесоматериалов внутри сделок, а так же пиломатериалов. В общем было полезно из этой "полезности" хоть что-то выжать.

_________________
http://www.pskovlesproekt.ru/ Александра Сергеевна
Поддерживая друг друга, мы будем вести лесной бизнес честно и с удовольствием.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 30 окт 2017, 19:17 
Грешнов Сергей Петрович
Аватара пользователя

Сообщения: 7273
Откуда: Подольск

Таволга писал(а):
Выявили сезонность спроса на лесоматериалы...
и далее по тексту. +100500! Я вот даже не подумал о таком использовании...

_________________
ООО"ЛесИС", ГИС TopoL-L - непрерывное лесоустройство для лесного хозяйства
http://www.lesis.ru/prices/videotour.htm


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 30 окт 2017, 21:15 

Сообщения: 55

Грешнов писал(а):
Вы лучше поподробнее опишите Ваши возможности... может более стоящие идеи появятся... ))
Возможности ограничены только тем,что есть в открытом доступе(кроме егаиса, пока ничего не вижу,административного ресурса нет),понятно что ценной информации там меньше 10 %,но раньше этого и не было-у нас на сайте регионального ОИВа висел необновляющийся список арендаторов в весьма произвольной форме.думаю,что это однозначно полезно(поэтому постараюсь сделать).порядок действий арендаторов для поиска ресурсов мне хорошо понятен (повыдельная база появиться уже не в этой стране).....,но кроме чисто лесозаготовительных возможно есть ещё другие интересы?поэтому пишите не стесняйтесь))
Таволга писал(а):
Сделали выгрузку ( к сожалению более 10 тыс не дает)
как делали выгрузку?напишите пожалуйста подробнее если возможно


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 31 окт 2017, 19:29 
Аватара пользователя

Сообщения: 111
Откуда: Псковская область

Если нет списка арендаторов, то в открытых данных выбираешь последовательно все лесничества (названия есть на региональных сайтах, на сайт каждого субъекта можно быстро попасть например так http://www.rosleshoz.gov.ru/activity/no-fire/21 и выгружаешь договора аренды
http://lesegais.ru/open-area/rent
Там есть ИНН.
Далее http://lesegais.ru/open-area/deal
По ИНН находишь все сделки по продажам с древесиной и выгружаешь в Excel (есть кнопочка "Выгрузить в Excel), последовательно каждого арендатора.
Способ не для ленивых, но результаты дает.
Интересно бы сделать по каждому субъекту, а потом в кучу свести, (наверняка данные будут отличатся от официальных).
Далее работаешь с данными (запросы могут быть разные, например с https://www.nalog.ru берешь недостающую информацию ну и так далее).
Удачи.

_________________
http://www.pskovlesproekt.ru/ Александра Сергеевна
Поддерживая друг друга, мы будем вести лесной бизнес честно и с удовольствием.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 01 ноя 2017, 08:58 

Сообщения: 55

Таволга писал(а):
Если нет списка арендаторов, то в открытых данных выбираешь последовательно все лесничества (названия есть на региональных сайтах
Смысл парсинга в том, чтобы так не делать и кнопки не нажимать. Вот полный список лесничеств с сайта, генерируется за полминуты.
https://cloud.mail.ru/public/6Yqo/kEsnYJBdD


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 01 ноя 2017, 19:53 
Аватара пользователя

Сообщения: 111
Откуда: Псковская область

gornak писал(а):
Таволга писал(а):
Если нет списка арендаторов, то в открытых данных выбираешь последовательно все лесничества (названия есть на региональных сайтах
Смысл парсинга в том, чтобы так не делать и кнопки не нажимать. Вот полный список лесничеств с сайта, генерируется за полминуты.
https://cloud.mail.ru/public/6Yqo/kEsnYJBdD

Да действительно можно и так, список лесничеств не проблема.
Я об итоге: про про получение списка арендаторов с кварталами по участковым лесничествам. Я такой кнопки не нашла, может быть и есть где не разобралась. Нужны были сделки арендаторов и их объем.

_________________
http://www.pskovlesproekt.ru/ Александра Сергеевна
Поддерживая друг друга, мы будем вести лесной бизнес честно и с удовольствием.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 01 ноя 2017, 22:51 

Сообщения: 55

список участковых лесничеств
https://cloud.mail.ru/public/8Lvd/ouVUns7gF


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 03 ноя 2017, 08:56 

Сообщения: 2991

Интересный список лесничеств. Откуда они выдернули такое старьё? Очередная информационная система в том же РЛИ и со своими очередными кодами и субъектов, и лесничеств. И они ещё ведут разговоры о единой НСИ для отрасли! В ГИЛ своя кодировка, в ГЛР - своя, у лесоустроителей - своя, у ЕГАИС - своя. В ОИП-ах - своя. Что там у них ещё есть. И это в одной организации. И это только для кодировки субъектов и лесничеств!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 04 ноя 2017, 09:59 
Грешнов Сергей Петрович
Аватара пользователя

Сообщения: 7273
Откуда: Подольск

Денисов писал(а):
В ГИЛ своя кодировка, в ГЛР - своя, у лесоустроителей - своя, у ЕГАИС - своя. В ОИП-ах - своя. Что там у них ещё есть. И это в одной организации. И это только для кодировки субъектов и лесничеств!
У них есть полное непонимание того, что они своей безумной кодировкой нарушают федеральное законодательство по техническому регулированию. При разработке государственных информационных систем для кодировки территориальных субъектов они обязаны использовать ОКТМО редакции 2013г, которая мало отличается от предыдущей. По этому кодификатору Московская область имеет код 46, а не 50. )) 50 - это "гаишный" код, взятый ими в период когда ОКТМО не было и это порядковый номер субъекта в Конституции РФ. "Гаишные коды сохранили для преемственности, чтобы не менять кучу номеров при переходе на ОКТМО, но это не дает права ведомствам нарушать федеральные НПА, рискуя нарваться, возможно, даже на УК РФ.
Что касается леничеств, то их номера в СОЛИ и ГУЛФ тоже брались не с потолка. Это "картографический" принцип нумерации территориальных объектов с северо-запада на юго-восток для того, чтобы их легче было находить на обзорных региональных картах! И только полностью безграмотному в ЛУ и ИТ дилетанту могло прийти в голову перенумеровать их в алфавитном порядке! Цирк... Клоунада... )))

_________________
ООО"ЛесИС", ГИС TopoL-L - непрерывное лесоустройство для лесного хозяйства
http://www.lesis.ru/prices/videotour.htm


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 05 ноя 2017, 09:04 

Сообщения: 55

Денисов писал(а):
Откуда они выдернули такое старьё?

Что именно устарело?(не совсем понял-кодировки или сам перечень лесничеств?)

Насчет кодировок: я не могу знать достоверно, как они хранятся у них в базе. Сайт отдает json, где несколько полей, значимыми являются только название(для нас- людей) и данные коды-"id"(потому что они используются при формировании запросов).есть еще поле "code" которое ,скажем так навскидку, у 90 % леничеств равно предыдущему просто без букв.
К списку есть еще претензии-1)не знаю, чем отличается статус Ялтинского заповедника, но он в перечне есть, других лесничеств системы оопт нет,2)нет военных лесничеств, хотя данные по сделкам они в систему заносят.
в нумерации есть пропуски возможно именно поэтому?
Выложу список(потому что без него опять-таки не подобраться правильно к договору) изобретенной высокими умами РЛХ, как назвать- категории "урочище":))- там еще больше косяков. Вид использования тоже могли бы для приличия указать!
Просто удивительно, насколько ведомство неспособно создать качественную(просто хотя бы без явных косяков) БД, даже простейшую.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 05 ноя 2017, 23:59 

Сообщения: 55

для любителей топонимики https://cloud.mail.ru/public/4GMZ/EvXTUp35B


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 06 ноя 2017, 22:20 
Грешнов Сергей Петрович
Аватара пользователя

Сообщения: 7273
Откуда: Подольск

gornak писал(а):
Насчет кодировок: я не могу знать достоверно, как они хранятся у них в базе
А что там знать - первое поле "код_субъекта" - стоят "коды ГАИ", а должны стоять ОКАТО. Нарушение федерального законодательства по техническому регулированию.
gornak писал(а):
категории "урочище"
Это еще один не легитимный бред. Урочище - термин из области ландшафтоведения и физической географии, обозначающий относительно однородную часть ландшафта, отличающуюся от остальных его элементов характером физико-географических процессов. Урочищем может быть долина реки... массив леса среди полей и лесов. Но никак не совокупность лесных кварталов, всего лишь пронумерованных одинаковыми числами... ))) Для этого есть другой термин - дача, вполне себе кадастрово - лесной, имеющий большую историю использования в отрасли со времен Орлова... Тюрмера... и даже их предшественников, не берусь сейчас сказать точно, с какого времени. Он как раз предполагает совокупность лесных участков, границы которой установлены административно, даже если она имеет географически обособленные границы. Но для этого "аФтАрам отраслевых НПА" нужно было читать эти самые первоисточники, однако, увы... Безграмотность процветает и широким шагом внедряется в НПА и теперь еще и в ИТ.
gornak писал(а):
данные коды-"id"(потому что они используются при формировании запросов).есть еще поле "code" которое ,скажем так навскидку, у 90 % леничеств равно предыдущему просто без букв.
Вот на этот алфавитный бред и заменили "картографические" логичные коды СОЛИ и ГУЛФ то ли полустуденты... то ли полуаспиранты... пытавшиеся разработать сущностную часть "единой НСИ"... )) Хотя даже балбес понимает, что если нужно получить сортировку по алфавиту - использовать для этого специальные коды дурость. Имена и без них прекрасно сортируются... )))))) Детский сад... штаны на лямках... однако под этот "детсад" пол-отрасли перенумеровали свои данные... )))

_________________
ООО"ЛесИС", ГИС TopoL-L - непрерывное лесоустройство для лесного хозяйства
http://www.lesis.ru/prices/videotour.htm


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 07 ноя 2017, 11:48 

Сообщения: 2991

gornak писал(а):
Что именно устарело?(не совсем понял-кодировки или сам перечень лесничеств?)
Насчет кодировок: я не могу знать достоверно, как они хранятся у них в базе......
Просто удивительно, насколько ведомство неспособно создать качественную(просто хотя бы без явных косяков) БД, даже простейшую.
Там даже не устарело, а помесь какая-то не известно из чего и из какого года давности состряпанная. Похоже, разработчики сами не понимают, зачем им нужна НСИ и кодировка в ней. Кодировалось явно "от балды": давай закодируем как-нибудь, а там посмотрим. Ну, вот, каждый раз и "смотрят". Если, что не так "смотрится" или не вписывается, то на ходу придумывается что-то новенькое, "оригинальное", понятное только им одним (мало им буковки U, они О и Р придумали, мало им одно буковки О оказалось, они две буковки ОО поставили, финиш). Можно даже не видеть их БД с такой НСИ, что бы представить себе что ТАМ твориться. Могу уверенно сказать: такая БД не имеет будущего и с ТАКОЙ БД, разве что сами разработчики (пока помнят свои "изыски") и могут, даже не работать, а как-то ею пользоваться: что-то добавлять куда-то, что то выбирать откуда то.
Грешнов писал(а):
однако под этот "детсад" пол-отрасли перенумеровали свои данные... )))
А как же - велено единую НСИ сделать, вот и перенумеровывают и при этом думают, что у них это и есть единая НСИ. Почитали бы хотя, что-нибудь в интернете!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 08 ноя 2017, 13:35 

Сообщения: 55

Денисов писал(а):
Там даже не устарело, а помесь какая-то не известно из чего и из какого года давности состряпанная.

По крайней мере по известному мне региону перечень лесничеств и участковых лесничеств (названия и количество) верный.
Грешнов писал(а):
Это еще один не легитимный бред. Урочище - термин из области ландшафтоведения и физической географии,

полностью согласен и пытался, даже пошутить))
несколько комментариев:
1)для чего они нужны-без них не всегда можно однозначно идентифицировать квартал (то есть по факту-являются наименьшей территориальной единицей в пределах которой идет нумерация кварталов),пример-
у нас в пределах участкового лесничества-два бывших "нормальных" госфондовских лесничества,входивших в состав лесхоза, нумерация кварталов которых начинается с 1 и плюс еще N колхозных, пронумерованных подряд
егаис же при запросе более высокого уровня агрегатирует все номера(делает их без повторов), да еще и сортирует в алфавитном порядке, получается каш, где не понятно какой квартал к какому лесничеству относиться
2)не все уч лесничества (в зависимости от региона) разделены на "урочища"- там соответственно пропуск
3)справочники естественно никто не готовил, поэтому даже, если "урочище" и есть по факту, но по нему нет арендных отношений- то его в системе нет
4)по той же самой причине(п.3) информация по ДА вносилась как попало и все "пробы пера" (вплоть до смешного) сохранились,как правило они пустые, но их никто не удосуживается удалять!
Грешнов писал(а):
это не дает права ведомствам нарушать федеральные НПА, рискуя нарваться, возможно, даже на УК РФ.

не могу утверждать, но то что летало,стало нарываться на ConnectionError, возможно читают?)): и вместо того, чтобы устыдиться решили побанить или придут как к школьнику, который исправлял оценки в электронном дневнике
Денисов писал(а):
разве что сами разработчики (пока помнят свои "изыски") и могут, даже не работать, а как-то ею пользоваться: что-то добавлять куда-то, что то выбирать откуда то

также согласен, но других источников у нас к сожалению нет
все же,вот пример выгрузки по Тверской области https://cloud.mail.ru/public/J9gw/nKKdV47sq
больше всего раздражает отсутствие хоть какого-то ID договора (только дата -сегодня увидел в разделе "Последние созданные в системе", "дата подписания документа" 25.06.2209-рассмешило,а может РЛХ за такие деньги и машину времени изобрел, и объем)-просто абсурд!!!-придется дополнительно по инн пробивать организации, что бы понять реальное количество договоров и объем и сводить(за егаис) все как-то в одно целое, чтобы понять где это находиться и еще неизвестно, что получиться
P.S. Еще повеселил ДА лесозаготовительного предприятия площадь - 140 кварталов, объем (в указанных единицах -м3) 66,3 , возможно имел ввиду тыс., но об этом мы уже не узнаем


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 08 ноя 2017, 15:09 

Сообщения: 2991

gornak писал(а):
По крайней мере по известному мне региону перечень лесничеств и участковых лесничеств (названия и количество) верный.
Вам, верно, повезло. Регион давно не реорганизовывался? IШЛИНСКОЕ - это тоже верно?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Открытые данные с сайта ЕГАИС
СообщениеДобавлено: 08 ноя 2017, 15:12 

Сообщения: 55

это "урочище" (в понимании егаис) по ним см. комментарии выше, там и не такие ляпы
а участковое сейчас оно Красномайское -все верно
реорганизовывался в 2006-2007


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 18 ] 

Текущее время: 17 июл 2018, 10:59


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 4


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB
Rambler's Top100