Discussion:
[pyar] Scraping de ML
Emiliano Vazquez
2018-07-24 02:14:26 UTC
Permalink
Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
que me tiren todas las cosas malas que harían que esto que estoy pensando
sea algo imposible, mis objetivos:

* definir la zona de busqueda, como es sabido no todos los bienes tienen el
mismo precio, por ende buscar en todos lados no tendría sentido. despues
quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
gigante si no por algo que por mis capacidades y tiempo pueda realizar.

* definir un tamaño de la propiedad, para tener en el mix de precios una
cualidad que con la zona dan un precio promedio bastante real, entiendo que
la calidad del bien va a influir, pero es algo que no veo como solucionarlo.

* lograr tener el dato de un ID de mercadolibre y su evolucion en el
tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
publicacion mantiene sus datos y ante una renovación de la publicacion +
cambio de precio voy a mantener el ID que viene en el mismo.

* con los datos juntados poder seguir el conjunto de precios en el tiempo y
la relacion precio dolar/pesos que va llevanto, de nuevo, me guardo mis
ideas de como seria esta relacion en el tiempo, no intento discutir o
generar una guerra en la lista, solamente jugar un rato con datos.

* Me encontre con este link que tiene un poco de info de Scrapy y ML, voy a
buscar mas, pero es lo primero a lo que he llegado.

Mis dudas:
* No se si usar Scrapy o si hay algo mejor que exista por ahi.
* Desconozco si ML me va a cortar las peticiones por abuso.
* No se si ya existe alguna herramienta similar disponible y de codigo
abierto
* No se si esto que hago es ilegal (no creo pero no esta de mas la pregunta)



Problemas:
* Quiero googlear "python scrap mercadolibre" y termino en la web de
mercadolibre para comprar libros de python jajajaa



No quiero escribir mucho mas, ya que puede pasar que este e-mail no tenga
repercusión.

Les mando un saludo a todos y que terminen bien el día!

Emiliano.
Jeremias Maggi
2018-07-24 11:44:11 UTC
Permalink
Hola Emiliano,

Te recomiendo que lo hagas usando el API que es mas especifica y bastante
abierta para el tema de las consultas, fijate que toda la informacion y la
documentacion esta en: https://developers.mercadolibre.com/, una vez que
entres ahi anda a API Docs y ahi a Guide for Real Estate.


Te dejo los pasos igualmente para que armes la consulta basica de Villa
Lugano:


Cities:

https://api.mercadolibre.com/classified_locations/cities/TUxBQ0NBUGZlZG1sYQ

De aca podes tomar los ID de los barrios en el campo neighborhoods.

En el caso de Lugano es este:

"id": "TUxBQlZJTDQ4MzBa",
"name": "Villa Lugano"

Despues deberias consultar la location del item haciendo una consulta
directa a los datos del neighborhoods de esta manera:

https://api.mercadolibre.com/classified_locations/neighborhoods/TUxBQlZJTDQ4MzBa

Ahi te va a devolver un JSON y tenes que tomar los datos de geo_information
-> location:

"latitude": -34.6833333
"longitude": -58.4666667

Y una vez que tenes esos datos deberias hacer esta consulta:

https://api.mercadolibre.com/sites/MLA/search?item_location=lat:-34.6833333,lon:-58.4666667&category=MLA1459&limit=10

Donde:

lat: es la latitude que tenes del barrio
lon: es la longitude que tenes del barrio
category: es la cateogria de Inmuebles de Mercado Libre que podes consultar
aca (https://api.mercadolibre.com/sites/MLA/categories)
limit: es el limite de consultas, fijate que Meli te las corta en 50 y la
mejor forma de trabajar con listados amplios es usar la navegacion de
consultas que te provee MELI, fijate que la consulta de Villa Lugano e
inmuebles te da un total de "362.641" propiedades.

Te dejo el SDK te Python de Mercado Libre que es bastante simple de usar:
https://github.com/joacoRamone/meli-python-sdk

Las consultas las podes hacer asi una vez que abriste sesion con el API de
MercadoLibre:

result_product =
meli.get("/users/%s/items/search?search_type=scan&access_token=%s" % (
seller_id, access_token))

Esa es de productos la tuya deberia quedar asi pero habria que probarla:

result_properties =
meli.get("/sites/MLA/items/search?item_location=lat:%s,lon:%s&category=%s&limit=%i"
% (
latitude, longitude, category, limit))


Cualquier otra duda escribime y te doy una mano.

Saludos Jeremias
Post by Emiliano Vazquez
Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
que me tiren todas las cosas malas que harían que esto que estoy pensando
* definir la zona de busqueda, como es sabido no todos los bienes tienen
el mismo precio, por ende buscar en todos lados no tendría sentido. despues
quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
gigante si no por algo que por mis capacidades y tiempo pueda realizar.
* definir un tamaño de la propiedad, para tener en el mix de precios una
cualidad que con la zona dan un precio promedio bastante real, entiendo que
la calidad del bien va a influir, pero es algo que no veo como solucionarlo.
* lograr tener el dato de un ID de mercadolibre y su evolucion en el
tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
publicacion mantiene sus datos y ante una renovación de la publicacion +
cambio de precio voy a mantener el ID que viene en el mismo.
* con los datos juntados poder seguir el conjunto de precios en el tiempo
y la relacion precio dolar/pesos que va llevanto, de nuevo, me guardo mis
ideas de como seria esta relacion en el tiempo, no intento discutir o
generar una guerra en la lista, solamente jugar un rato con datos.
* Me encontre con este link que tiene un poco de info de Scrapy y ML, voy
a buscar mas, pero es lo primero a lo que he llegado.
* No se si usar Scrapy o si hay algo mejor que exista por ahi.
* Desconozco si ML me va a cortar las peticiones por abuso.
* No se si ya existe alguna herramienta similar disponible y de codigo
abierto
* No se si esto que hago es ilegal (no creo pero no esta de mas la pregunta)
* Quiero googlear "python scrap mercadolibre" y termino en la web de
mercadolibre para comprar libros de python jajajaa
No quiero escribir mucho mas, ya que puede pasar que este e-mail no tenga
repercusión.
Les mando un saludo a todos y que terminen bien el día!
Emiliano.
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Gonzalo
2018-07-24 11:38:09 UTC
Permalink
Y si usás la API?
https://developers.mercadolibre.com/en_us/api-docs

Vas a tener que:
- Elegir el site (MLA, MLB, etc),
- listar las categorías (son distintas en cada site),
- buscar las opciones de esa categoría,
- listar los ítems de esa categoría utilizando los filtros.

slds,

El lun., 23 jul. 2018 a las 23:15, Emiliano Vazquez (<
Post by Emiliano Vazquez
Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
que me tiren todas las cosas malas que harían que esto que estoy pensando
* definir la zona de busqueda, como es sabido no todos los bienes tienen
el mismo precio, por ende buscar en todos lados no tendría sentido. despues
quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
gigante si no por algo que por mis capacidades y tiempo pueda realizar.
* definir un tamaño de la propiedad, para tener en el mix de precios una
cualidad que con la zona dan un precio promedio bastante real, entiendo que
la calidad del bien va a influir, pero es algo que no veo como solucionarlo.
* lograr tener el dato de un ID de mercadolibre y su evolucion en el
tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
publicacion mantiene sus datos y ante una renovación de la publicacion +
cambio de precio voy a mantener el ID que viene en el mismo.
* con los datos juntados poder seguir el conjunto de precios en el tiempo
y la relacion precio dolar/pesos que va llevanto, de nuevo, me guardo mis
ideas de como seria esta relacion en el tiempo, no intento discutir o
generar una guerra en la lista, solamente jugar un rato con datos.
* Me encontre con este link que tiene un poco de info de Scrapy y ML, voy
a buscar mas, pero es lo primero a lo que he llegado.
* No se si usar Scrapy o si hay algo mejor que exista por ahi.
* Desconozco si ML me va a cortar las peticiones por abuso.
* No se si ya existe alguna herramienta similar disponible y de codigo
abierto
* No se si esto que hago es ilegal (no creo pero no esta de mas la pregunta)
* Quiero googlear "python scrap mercadolibre" y termino en la web de
mercadolibre para comprar libros de python jajajaa
No quiero escribir mucho mas, ya que puede pasar que este e-mail no tenga
repercusión.
Les mando un saludo a todos y que terminen bien el día!
Emiliano.
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Gonzalo.
#534331
#91296338
#15090H2467
Emiliano Vazquez
2018-07-24 14:39:49 UTC
Permalink
Gonzalo, Jeremías, menos mal que escribí, desconocía de esta opción, no
pensé que ML prestaría la información por eso no reparé en el tema de las
APIs.

Voy a ir por ese lado, no voy a reinventar la rueda.

Se los agradezco de verdad.

Emiliano.
Post by Gonzalo
Y si usás la API?
https://developers.mercadolibre.com/en_us/api-docs
- Elegir el site (MLA, MLB, etc),
- listar las categorías (son distintas en cada site),
- buscar las opciones de esa categoría,
- listar los ítems de esa categoría utilizando los filtros.
slds,
El lun., 23 jul. 2018 a las 23:15, Emiliano Vazquez (<
Post by Emiliano Vazquez
Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
que me tiren todas las cosas malas que harían que esto que estoy pensando
* definir la zona de busqueda, como es sabido no todos los bienes tienen
el mismo precio, por ende buscar en todos lados no tendría sentido. despues
quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
gigante si no por algo que por mis capacidades y tiempo pueda realizar.
* definir un tamaño de la propiedad, para tener en el mix de precios una
cualidad que con la zona dan un precio promedio bastante real, entiendo que
la calidad del bien va a influir, pero es algo que no veo como solucionarlo.
* lograr tener el dato de un ID de mercadolibre y su evolucion en el
tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
publicacion mantiene sus datos y ante una renovación de la publicacion +
cambio de precio voy a mantener el ID que viene en el mismo.
* con los datos juntados poder seguir el conjunto de precios en el tiempo
y la relacion precio dolar/pesos que va llevanto, de nuevo, me guardo mis
ideas de como seria esta relacion en el tiempo, no intento discutir o
generar una guerra en la lista, solamente jugar un rato con datos.
* Me encontre con este link que tiene un poco de info de Scrapy y ML, voy
a buscar mas, pero es lo primero a lo que he llegado.
* No se si usar Scrapy o si hay algo mejor que exista por ahi.
* Desconozco si ML me va a cortar las peticiones por abuso.
* No se si ya existe alguna herramienta similar disponible y de codigo
abierto
* No se si esto que hago es ilegal (no creo pero no esta de mas la pregunta)
* Quiero googlear "python scrap mercadolibre" y termino en la web de
mercadolibre para comprar libros de python jajajaa
No quiero escribir mucho mas, ya que puede pasar que este e-mail no tenga
repercusión.
Les mando un saludo a todos y que terminen bien el día!
Emiliano.
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Gonzalo.
#534331
#91296338
#15090H2467
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Fernando
2018-07-25 23:07:42 UTC
Permalink
Para trabajar con la API e ir probando (por si no los conocías) podes usar
algunos de estos programas:

https://alternativeto.net/software/insomnia-rest-client/

Postman e Insomnia son los mas facheros, después tenes varias opciones mas.

Saludos.
Post by Emiliano Vazquez
Gonzalo, Jeremías, menos mal que escribí, desconocía de esta opción, no
pensé que ML prestaría la información por eso no reparé en el tema de las
APIs.
Voy a ir por ese lado, no voy a reinventar la rueda.
Se los agradezco de verdad.
Emiliano.
Post by Gonzalo
Y si usás la API?
https://developers.mercadolibre.com/en_us/api-docs
- Elegir el site (MLA, MLB, etc),
- listar las categorías (son distintas en cada site),
- buscar las opciones de esa categoría,
- listar los ítems de esa categoría utilizando los filtros.
slds,
El lun., 23 jul. 2018 a las 23:15, Emiliano Vazquez (<
Post by Emiliano Vazquez
Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
que me tiren todas las cosas malas que harían que esto que estoy pensando
* definir la zona de busqueda, como es sabido no todos los bienes tienen
el mismo precio, por ende buscar en todos lados no tendría sentido. despues
quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
gigante si no por algo que por mis capacidades y tiempo pueda realizar.
* definir un tamaño de la propiedad, para tener en el mix de precios una
cualidad que con la zona dan un precio promedio bastante real, entiendo que
la calidad del bien va a influir, pero es algo que no veo como solucionarlo.
* lograr tener el dato de un ID de mercadolibre y su evolucion en el
tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
publicacion mantiene sus datos y ante una renovación de la publicacion +
cambio de precio voy a mantener el ID que viene en el mismo.
* con los datos juntados poder seguir el conjunto de precios en el
tiempo y la relacion precio dolar/pesos que va llevanto, de nuevo, me
guardo mis ideas de como seria esta relacion en el tiempo, no intento
discutir o generar una guerra en la lista, solamente jugar un rato con
datos.
* Me encontre con este link que tiene un poco de info de Scrapy y ML,
voy a buscar mas, pero es lo primero a lo que he llegado.
* No se si usar Scrapy o si hay algo mejor que exista por ahi.
* Desconozco si ML me va a cortar las peticiones por abuso.
* No se si ya existe alguna herramienta similar disponible y de codigo
abierto
* No se si esto que hago es ilegal (no creo pero no esta de mas la pregunta)
* Quiero googlear "python scrap mercadolibre" y termino en la web de
mercadolibre para comprar libros de python jajajaa
No quiero escribir mucho mas, ya que puede pasar que este e-mail no
tenga repercusión.
Les mando un saludo a todos y que terminen bien el día!
Emiliano.
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Gonzalo.
#534331
#91296338
#15090H2467
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Loading...