Este post acompaña a nuestra charla ¿Qué es mejor que una buena fuente de datos? Dos. para Data Days 2022 este 31 de marzo (agenda de Data Days).
Enlaces/Referencias:
- Alluma y One Degree: https://www.alluma.org/one-degree
- One Degree Common App:
- Documentación de la API de One Degree: https://github.com/1deg/resource-server-api-docs
- Robots Can't Do Everything - Why Humans Maintain One Degree's Data:
- Social Vulnerability Index (SVI): https://www.atsdr.cdc.gov/placeandhealth/svi/index.html
- ¿Y si realmente Funcionara el sistema de red de seguridad social?
Medium
Documentación de las herramientas que utilizamos
Python:
-
streamlit- https://streamlit.io -
pandas- https://pandas.pydata.org/ -
censusgeocode- https://pypi.org/project/censusgeocode/ -
snowflake-connector-python- https://docs.snowflake.com/en/user-guide/python-connector.html -
rich- https://github.com/Textualize/rich -
altair- https://altair-viz.github.io/ -
python-dotenv- https://pypi.org/project/python-dotenv/
¡Estaré al tanto de los comentarios aquí abajo respondiendo dudas!
Preguntas
si quiero deployar streamlit en prod, solo necesito cuidar las cuestiones de gunicorn y demás? o hay algo interno a streamlit que debo cuidar?
Puedes pensar de streamlit como cualquier otra aplicación de python que despliegas en la nube - nosotros no tuvimos que moverle nada a gunicorn ni nada. Streamlit abre un puerto (8501, por defecto) nomas tienes apuntar tu servicio de hosting a ese puerto. Streamlit ahora también te permite desplegar en su propia nube (share.streamlit.io) pero lo puedes desplegar en Heroku, HuggingFace, Digital Ocean, etc sin tener que moverle a gunicorn o nada mas.
Recientemente se liberaron los datasets de sentencias de la suprema corte en MX. Qué usarías para abrirlo por completo, human y machine readable? Streamlit o Datasette?
La carta internacional de datos abiertos especifica 6 principios para lo que se considera datos abiertos: https://opendatacharter.net/principles-es/. México es uno de los gobiernos que ha firmado esta carta.
En mi opinión, es preferible tener los datos de ambas maneras (human y machine readable). No todo tiene que ser solo accesible de manera programatica.
Utilizo streamlit para crear aplicaciones mas explorativas que para servir datos pero podrías usarlo aquí también. Datasette es mi tecnología favorita para compartir datos ya que crea un sitio web explorativo y sirve como API también.
Si un civic hacker quisiera usar estas tecnologías para otro use case, cuánto tendría que pagar por usar este stack y qué alternativas hay para ahorrar este costo?
Esto es gratis. Todas las tecnologías que usamos son open source y lo único que nos cobrarían es el hosting de la aplicación (y los datos) pero muchas empresas tienen créditos y descuentos para empresas sin fines de lucro así que si formas una igual te sale gratis a ti también.
Heroku ofrece hosting gratis dependiendo de cuantas visitas reciba tu sitio/app. Google Cloud Run es muy barato y también te cobra por visitas ya que tu app "se apaga" cuando no la estan usando. Fly.io ahora también ofrece hasta 10 GB de memoria gratis.
Cuál es el mayor reto en materia de sesgos cualitativos?
El proceso de revisar datos y actualizarlos es muy manual y pues tiene sus propios sesgos el que sean personas quienes hacen este trabajo. Parte de la razón por la que estamos creando esta aplicación es para informar nuestras decisiones con datos e información.
Que otras aplicaciones han pensado para esta tecnología?
Angel: Pues nos gustaría saber si existe algo parecido en México, un directorio de recursos que la gente pueda consultar. Expandirlo a México estaría interesante.
Sergio: A mí lo que mas me llamó la atención de este proceso fue el "expandir" los atributos geográficos de una fuente de datos para extender sus casos de uso. Empezamos con un punto geográfico Longitud/Latitud y encontramos áreas geográficas a las que ese punto pertenece (condado, ciudad, estado, distrito legislativo) y nos permitió análizar estos mismos datos de manera distinta (filtrando por estas áreas) y nos permitió enlazar estos datos con datos públicos del Centro de Control y Prevencion de Enfermedades (CDC, por sus siglas en inglés). Esto creo que se puede expandir mas allá de solo Estados Unidos y en muchos mas campos.
¿Cómo puedo ser voluntario en tacosdedatos?
No tenemos proyectos como tacosdedatos pero puedes crear una cuenta aquí en tacosdedatos.com y publicar tutoriales, preguntas, artículos, etc!
O si tienes ideas sobre algun proyecto que podríamos lanzar como comunidad - publica algo aquí y lo compartimos en las redes!
Muchas gracias por tu interés 💖
Discussion (0)