Discussion:
[pyar] Existe framework para procesamiento de archivos de texto estructurado?
Gustavo V
2018-09-14 15:11:50 UTC
Permalink
Gente, buenas y santas.

Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.

Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.

Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.

Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
con contenido estructurado de manera posicional, ejemplo:

Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc


Si alguien sabe de algo que ya exista seria genial, sino escucho ideas


73's
Gustavo
_______________________________________________
Lista de Correo de PyAr - Python Argentina - ***@python.org.ar
Sitio web: http://www.python.org.ar/

Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar

La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla
javiermarcon
2018-09-14 15:23:33 UTC
Permalink
El modulo csv de python va perfecto para eso.
Saludos,
Javier


Enviado desde mi smartphone Samsung Galaxy.
-------- Mensaje original --------De: Gustavo V <***@gmail.com> Fecha: 14/9/18 12:11 (GMT-03:00) Para: Python Argentina <***@python.org.ar> Asunto: [pyar] Existe framework para procesamiento de archivos de texto estructurado?
Gente, buenas y santas.

Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.

Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.

Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.

Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
con contenido estructurado de manera posicional, ejemplo:

Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc


Si alguien sabe de algo que ya exista seria genial, sino escucho ideas


73's
Gustavo
_______________________________________________
Lista de Correo de PyAr - Python Argentina - ***@python.org.ar
Sitio web: http://www.python.org.ar/

Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar

La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
Gustavo V
2018-09-14 16:20:40 UTC
Permalink
Gracias Javier,

pero para los archivos de texto estructurado hay algo?

GV!
Post by javiermarcon
El modulo csv de python va perfecto para eso.
Saludos,
Javier
Enviado desde mi smartphone Samsung Galaxy.
-------- Mensaje original --------
Fecha: 14/9/18 12:11 (GMT-03:00)
Asunto: [pyar] Existe framework para procesamiento de archivos de texto estructurado?
Gente, buenas y santas.
Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.
Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.
Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.
Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc
Si alguien sabe de algo que ya exista seria genial, sino escucho ideas
73's
Gustavo
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
_______________________________________________
Lista de Correo de PyAr - Python Argentina - ***@python.org.ar
Sitio web: http://www.python.org.ar/

Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar

La lista de PyAr esta Hosteada en USLA - Usuarios de
Joaquín Sorianello
2018-09-14 16:25:51 UTC
Permalink
Podes usar struct:

import struct

texto = b"EstoEsTextoEstructurado"

handler = struct.Struct("4s2s5s12s")
handler.unpack(texto)

# output
(b'Esto', b'Es', b'Texto', b'Estructurado')

https://docs.python.org/3.7/library/struct.html
Post by Gustavo V
Gracias Javier,
pero para los archivos de texto estructurado hay algo?
GV!
Post by javiermarcon
El modulo csv de python va perfecto para eso.
Saludos,
Javier
Enviado desde mi smartphone Samsung Galaxy.
-------- Mensaje original --------
Fecha: 14/9/18 12:11 (GMT-03:00)
Asunto: [pyar] Existe framework para procesamiento de archivos de texto
estructurado?
Post by javiermarcon
Gente, buenas y santas.
Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.
Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.
Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.
Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc
Si alguien sabe de algo que ya exista seria genial, sino escucho ideas
73's
Gustavo
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
Post by javiermarcon
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Post by javiermarcon
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
Post by javiermarcon
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Joaquín Sorianello
A.K.A. Joac
@_joac
Nahuel Defossé
2018-09-14 16:31:46 UTC
Permalink
Como comentó Joac, podes usar struct. Si te asusta la mantenibilidad de la nomenclatura de struct, existe un paquete llamada construct, que utiliza una un DSL basado en Python para definir la estructura de los archivos (que al final son structs).

Se utiliza mayoritariamente para archivos binarios, pero nada quita que los uses para cadenas en un archivo. Lo usé hace muchos años para un protocolo in house de monitoreo de medidores de energía y la verdad que facilitó mucho lidiar con estructuras cambiantes.

El repo del proyecto es https://github.com/construct/construct <https://github.com/construct/construct>.

Saludos!
Post by Joaquín Sorianello
import struct
texto = b"EstoEsTextoEstructurado"
handler = struct.Struct("4s2s5s12s")
handler.unpack(texto)
# output
(b'Esto', b'Es', b'Texto', b'Estructurado')
https://docs.python.org/3.7/library/struct.html <https://docs.python.org/3.7/library/struct.html>
Gracias Javier,
pero para los archivos de texto estructurado hay algo?
GV!
Post by javiermarcon
El modulo csv de python va perfecto para eso.
Saludos,
Javier
Enviado desde mi smartphone Samsung Galaxy.
-------- Mensaje original --------
Fecha: 14/9/18 12:11 (GMT-03:00)
Asunto: [pyar] Existe framework para procesamiento de archivos de texto estructurado?
Gente, buenas y santas.
Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.
Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.
Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.
Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc
Si alguien sabe de algo que ya exista seria genial, sino escucho ideas
73's
Gustavo
_______________________________________________
Sitio web: http://www.python.org.ar/ <http://www.python.org.ar/>
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar <http://listas.python.org.ar/listinfo/pyar>
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar <http://www.usla.org.ar/>
_______________________________________________
Sitio web: http://www.python.org.ar/ <http://www.python.org.ar/>
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar <http://listas.python.org.ar/listinfo/pyar>
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar <http://www.usla.org.ar/>
_______________________________________________
Sitio web: http://www.python.org.ar/ <http://www.python.org.ar/>
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar <http://listas.python.org.ar/listinfo/pyar>
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar <http://www.usla.org.ar/>
--
Joaquín Sorianello
A.K.A. Joac
@_joac
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
Javier Pepe
2018-09-14 16:51:39 UTC
Permalink
Hola

Tambien tenes esto que te puede servir para los archivos fijos

https://pypi.org/project/FixedWidth/0.99.3/

Creo que puede ser un buen punto de partida, y agregarle lo que haga falta.

Saludos

El vie., 14 de sep. de 2018 a la(s) 13:32, Nahuel Defossé (
Post by Nahuel Defossé
Como comentó Joac, podes usar struct. Si te asusta la mantenibilidad de la
nomenclatura de struct, existe un paquete llamada construct, que utiliza
una un DSL basado en Python para definir la estructura de los archivos (que
al final son structs).
Se utiliza mayoritariamente para archivos binarios, pero nada quita que
los uses para cadenas en un archivo. Lo usé hace muchos años para un
protocolo in house de monitoreo de medidores de energía y la verdad que
facilitó mucho lidiar con estructuras cambiantes.
El repo del proyecto es https://github.com/construct/construct.
Saludos!
import struct
texto = b"EstoEsTextoEstructurado"
handler = struct.Struct("4s2s5s12s")
handler.unpack(texto)
# output
(b'Esto', b'Es', b'Texto', b'Estructurado')
https://docs.python.org/3.7/library/struct.html
Post by Gustavo V
Gracias Javier,
pero para los archivos de texto estructurado hay algo?
GV!
Post by javiermarcon
El modulo csv de python va perfecto para eso.
Saludos,
Javier
Enviado desde mi smartphone Samsung Galaxy.
-------- Mensaje original --------
Fecha: 14/9/18 12:11 (GMT-03:00)
Asunto: [pyar] Existe framework para procesamiento de archivos de texto
estructurado?
Post by javiermarcon
Gente, buenas y santas.
Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.
Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.
Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.
Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc
Si alguien sabe de algo que ya exista seria genial, sino escucho ideas
73's
Gustavo
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
Post by javiermarcon
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Post by javiermarcon
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
Post by javiermarcon
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Joaquín Sorianello
A.K.A. Joac
@_joac
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
Sebastian Bassi
2018-09-14 17:08:11 UTC
Permalink
Hola Gustavo,

No estoy seguro, pero por ahi lo podes hacer con el dataframe de Pandas:
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html
Post by Gustavo V
Gente, buenas y santas.
Googlee mucho y la verdad no se si le estoy pegando a los términos asi
que acudo a Uds.
Estoy buscando si existe algun framework equivalente a Spring Batch,
sobre todo la parte de los Stream de datos para procesar archivos de
texto estructurado.
Actualmente estamos usando algo que es un chino totalmente cerrado sin
posibilidades de adaptarlo y queremos ir a una solución propia bajo
Python que lo estamos empujando mucho en donde laburo.
Los archivos que manejamos son de dos tipos mayormente: CSV y de texto
Campo1, desde 1 a 10
campo2, desde 11 a 15
...
etc
Si alguien sabe de algo que ya exista seria genial, sino escucho ideas
73's
Gustavo
_______________________________________________
Sitio web: http://www.python.org.ar/
Para administrar la lista (o desuscribirse) entrar a
http://listas.python.org.ar/listinfo/pyar
La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
Argentina - http://www.usla.org.ar
--
Sebastian Bassi
Loading...