Merge pull request #21 from Materials-Data-Science-and-Informatics/dev

broeder-j · web-flow · commit 23a3c8e4ed67 · 2023-06-05T11:24:55.000+02:00
Merge dev into main for release
diff --git a/.github/workflows/release.yml b/.github/workflows/release.yml
@@ -0,0 +1,65 @@
+# This workflow will create a github release and upload a Python Package to pypi
+# For more information see: https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-python#publishing-to-package-registries
+name: Release
+# Release a new version to different targets in suitable ways
+
+on:
+  workflow_call:  # called from ci.yml
+    inputs:
+      to_github:
+        description: "Create a Github Release (repository snapshot)"
+        type: boolean
+        default: true
+
+      to_test_pypi:
+        description: "Publish to Test PyPI."
+        type: boolean
+        default: false
+
+      to_pypi:
+        description: "Publish to PyPI."
+        type: boolean
+        default: false
+
+
+jobs:
+
+  github:
+    if: inputs.to_github
+    name: Create a Github Release (repository snapshot)
+    runs-on: ubuntu-latest
+    permissions:
+        contents: write  # needed for creating a GH Release
+    steps:
+      - uses: actions/checkout@v3
+      - uses: softprops/action-gh-release@v1
+
+  pypi:
+    if: inputs.to_pypi || inputs.to_test_pypi
+    name: Publish to PyPI (and/or compatible repositories)
+    runs-on: ubuntu-latest
+    permissions:
+      id-token: write  # needed for "trusted publishing" protocol
+    steps:
+      - uses: actions/checkout@v3
+
+      - name: Install poetry
+        run: pipx install poetry
+
+      - uses: actions/setup-python@v4
+        with:
+          python-version: "3.10"
+          cache: "poetry"
+
+      - name: Build the distribution package
+        run: poetry build
+
+      - name: Publish package to TestPyPI
+        if: inputs.to_test_pypi
+        uses: pypa/gh-action-pypi-publish@release/v1
+        with:
+          repository-url: https://test.pypi.org/legacy/
+
+      - name: Publish package to PyPI
+        if: inputs.to_pypi
+        uses: pypa/gh-action-pypi-publish@release/v1
diff --git a/README.md b/README.md
@@ -4,24 +4,52 @@ A dashboard to display survey data in an interactive way.
 
 ## Overview
 
-A dashboard using bokeh sever, developed to display data from HMC surveys in an interactive explorer way.
+This repository contains a dashboard using Panel and Bokeh, developed to display data from 
+HMC surveys in an interactive exploratory way. It is designed such that the code for the interactive
+visualizations might be reused for other projects.
+Example of a deployed version can be found [here](https://dashboard.survey.helmholtz-metadaten.de/survey_dashboard)
+
+Some impressions:
+![dashboard_overview](https://user-images.githubusercontent.com/24694833/230306080-9ca68ff8-5b8b-4ac4-b2fa-51e2c5361c7d.png)
+![dashboard_methods](https://user-images.githubusercontent.com/24694833/230306091-637188a9-359e-4ea0-8432-4d05a1ccc68f.png)
+![Dashboard_survey_data_explorer](https://user-images.githubusercontent.com/24694833/230306099-4cf71bda-0990-4f9d-be14-9a65812e7ac4.png)
 
 ## Installation
 
+After downloading the git repository you can install the software either with pip or poetry.
+We recommend setting it up in a separate python virtual environment.
+
+```shell
+pip install survey_dashboard
+```
+or
+
+```shell
+poetry install .
+```
 
 ## Usage
-* In the top folder execute:
+
+
+After installation you can start the app, i.e the panel server/bokeh server.
+```shell
+panel serve --port 50006 survey_dashboard/ 
 ```
-bokeh serve --show dashboard
+If you have given the dashboard a specific layout like the layout specific to HMC, which is on the hmc_specific branch, you might have to link to to a specific template.
+```shell
+panel serve --port 50006 survey_dashboard/ --static-dirs en_files=./survey_dashboard/hmc_layout/static/en_files
+
 ```
 
-* Navigate to `http://localhost:8000/` in your browser.
+* Navigate to `http://localhost:50006/` in your browser.
 
 ## Deployment
 
 To embed the dashboard into any website, first you have to host a bokeh server with this application somewhere and then you can embed it with bokehs `sever_document` function [see](https://docs.bokeh.org/en/latest/docs/user_guide/embed.html#app-documents)
 
-Do steps under `usage` above, but for a public exposed URL.
+Do steps under `usage` above, but for a public exposed URL, or what ever is used for deployment.
+The Language verison of the dashboard can be set with the environment variable: 'L
+
 
 Add the code from 'script' to you website:
 
diff --git a/codemeta.json b/codemeta.json
@@ -5,16 +5,41 @@
         "https://raw.githubusercontent.com/schemaorg/schemaorg/main/data/releases/13.0/schemaorgcontext.jsonld",
         "https://w3id.org/software-types"
     ],
-    "@id": "/survey-dashboard",
+    "@id": "https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard/tree/main",
     "@type": "SoftwareSourceCode",
-    "author": {
-        "@id": "/person/j.broeder",
+    "author": [{
+        "@id": "https://orcid.org/0000-0001-7939-226X",
         "@type": "Person",
         "email": "j.broeder@fz-juelich.de",
-        "familyName": "",
-        "givenName": "j.broeder"
+        "familyName": "Bröder",
+        "givenName": "Jens",
+            "affiliation": {
+                "@id": "https://ror.org/02nv7yv05",
+                "name": "Forschungszentrum Jülich GmbH"
+            }
     },
-    "description": "A Dashboard displaying survey data interactively.",
+    {"@id":"https://orcid.org/0000-0003-3043-5657",
+            "@type": "Person",
+            "email": "s.gerlich@fz-juelich.de",
+            "familyName": "Gerlich",
+            "givenName": "Silke Christine",
+            "affiliation": {
+                "@id": "https://ror.org/02nv7yv05",
+                "name": "Forschungszentrum Jülich GmbH"
+            }
+    },
+    {"@id":"https://orcid.org/0000-0002-5149-603X",
+            "@type": "Person",
+            "email": "v.hofmann@fz-juelich.de",
+            "familyName": "Hofmann",
+            "givenName": "Volker",
+            "affiliation": {
+                "@id": "https://ror.org/02nv7yv05",
+                "name": "Forschungszentrum Jülich GmbH"
+            }
+    }
+    ],
+    "description": "A Dashboard displaying survey data in an interactive way and allow for interactive exploration. Written for the data publication of the Helmholtz Metadata collaboration survey 2021: https://doi.org/10.7802/2433. The code could be adapted to visualize other categorical data provided in a table.\n \nAcknowledgements: This project was developed at the Institute for Materials Data Science and Informatics (IAS-9) of the Jülich Research Center and funded by the Helmholtz Metadata Collaboration (HMC), an incubator-platform of the Helmholtz Association within the framework of the Information and Data Science strategic initiative.",
     "identifier": "survey-dashboard",
     "license": "http://spdx.org/licenses/MIT",
     "name": "survey-dashboard",
@@ -58,5 +83,30 @@
             "version": ">=1.8.2.2,<2.0.0.0"
         }
     ],
-    "version": "1.0.0"
-}
+    "version": "1.0.0",
+    "codeRepository": "https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard.git",
+    "dateCreated": "2021-07-09",
+    "dateModified": "2022-12-19",
+    "datePublished": "2023-03-01",
+    "developmentStatus": "https://www.repostatus.org/#active",
+    "programmingLanguage": [
+        "Python"
+    ],
+   "keywords": ["dashboard", "panel", "survey data", "bokeh", "categorical data", "hmc", "interactive visualization", "data visualization", "data exploration"],
+    "copyrightYear" : "2022",
+    "softwareVersion": "1.0.0",
+    "isAccessibleForFree": "True",
+    "readme": "https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard/blob/main/README.md",
+    "buildInstructions": "https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard/blob/main/pyproject.toml",
+    "issueTracker": "https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard/issues",
+    "url":"https://github.com/Materials-Data-Science-and-Informatics/survey_dashboard",
+    "operatingSystem": ["OSX", "Linux"],
+    "targetProduct": {
+	"@id": "https://dashboard.survey.helmholtz-metadaten.de",
+        "@type": "WebApplication",
+	"url": "https://dashboard.survey.helmholtz-metadaten.de",
+        "name": "HMC survey data explorer",
+	"suportingData" : "https://doi.org/10.7802/2433",
+	"screenshot" : "https://user-images.githubusercontent.com/24694833/230306080-9ca68ff8-5b8b-4ac4-b2fa-51e2c5361c7d.png"
+    }
+}
diff --git a/survey_dashboard/__init__.py b/survey_dashboard/__init__.py
@@ -1,2 +1,2 @@
 __name__ = "survey_dashboard"
-__version__ = "1.0.0"
+__version__ = "0.1.0"
diff --git a/survey_dashboard/data/display_specifications/hcs_clean_dictionaries.py b/survey_dashboard/data/display_specifications/hcs_clean_dictionaries.py
@@ -823,6 +823,7 @@
   'Life Science',
   'Earth Science',
   'Chemistry',
+  'Computer Science',
   'Psychology',
   'Mathematics'],
  'researchArea_other': ['Informatik',
@@ -905,7 +906,6 @@
   'Planetenforschung',
   'Urban'],
  'researchAreaING': ['Aerospace Engineering',
-  'Computer Science',
   'Energy Engineering',
   'Electrical Engineering',
   'Materials Engineering',
@@ -2308,7 +2308,7 @@
                         "RDMPR7":"Information (metadata) typically used to describe research data.",
                         "RDMPR8":"Information (metadata) typically documented in digital way.",
                         "RDMPR9":"Information (metadata) typically gathered in automated way.",
-                        "RDMPR4/_":"Reseach data documented in a structued.",
+                        "RDMPR4/_":"Reseach data documented in a structured way.",
                         "RDMPR5/_":"Usage of internationally templates, schemas or standards.",
                         "DTPUB7":"Metadata published along with research data.",
                         "RDMPR6":"International standards in use.",
@@ -2320,44 +2320,44 @@
                         "SERVC3":"Free feedback text field:"
                         },
                 "DE" : {
-                        "PERBG1/_":"In welchem Helmholtz-Zentrum sind Sie in erster Linie tätig?",
-                        "PERBG2/_":"Welchem Helmholtz-Forschungsbereich ordnen Sie sich am ehesten zu?",
-                        "PERBG3/_":"Welcher Forschungsdisziplin ordnen Sie sich am ehesten zu?",
-                        "PERBG4/_":"Wie viele Jahre sind Sie bereits in der Forschung tätig?",
-                        "PERBG6/_":"Was ist Ihre aktuelle Position?",
+                        "PERBG1/_":"Helmholtz-Zentrum der Teilnehmenden.",
+                        "PERBG2/_":"Helmholtz-Forschungsbereich der Teilnehmenden.",
+                        "PERBG3/_":"Forschungsdisziplin der Teilnehmenden.",
+                        "PERBG4/_":"Dauer der Beschäftigung in der Forschung in Jahren.",
+                        "PERBG6/_":"Aktuelle Position der Teilnehmenden.",
                         "PERBG7/_":"Haben Sie eine ORCID iD?",
-                        "PERBG8/_":"Wie vertraut sind Sie mit den FAIR-Data Leitlinien?",
-                        "RSDP1":"Bitte charakterisieren Sie den Ursprung Ihrer Forschungsdaten.",
-                        "RSDP1b/1":"Welcher Anteil Ihrer Datensätze wurde an Großforschungsanlagen (z.B. LHC, PETRA III, KATRIN ELBE, BESSY II) erfasst? (Angabe in Prozent)",
-                        "RSDP1c":"Bitte nennen Sie die genutzte Großforschungseinrichtung:",
-                        "RSDP2":"Mit welchen Methoden erheben Sie Ihre Forschungsdaten?",
-                        "RSDP2b":"Bitte spezifizieren Sie die Methoden, mit denen Sie Ihre Forschungsdaten erheben.",
-                        "RSDP3":"In welchen Datenformaten liegen die Daten vor, die Sie in Ihrem aktuellen Forschungsprojekt generieren bzw. nutzen?",
+                        "PERBG8/_":"Vertrautheit mit den FAIR-Data Leitlinien.",
+                        "RSDP1":"Ursprung der Forschungsdaten.",
+                        "RSDP1b/1":"Relativer Anteil der an Großforschungsanlagen erfassten Datensätze.",
+                        "RSDP1c":"Genutzte Großforschungseinrichtungen.",
+                        "RSDP2":"Ausgewählte Methoden der Forschungsdatenerhebung.",
+                        "RSDP2b":"Spezifische Methoden der Forschungsdatenerhebung.",
+                        "RSDP3":"Datenformate, generiert / verwendet in aktuellen Forschungsprojekten.",
                         "RSDP7/_":"Bitte schätzen Sie, auf welcher Datenmenge eine typische Veröffentlichung von Ihnen beruht.",
-                        "RSDP4/_":"Wie viel Zeit vergeht durchschnittlich von der Planung bis zum Abschluss der Datenaufnahme für Ihre Forschungsprojekte? (in Monaten)",
-                        "RSDP8/_":"Meine Experimente nehmen ___ Zeit in Anspruch als eine durchnittliche Untersuchung in meinem Forschungsbereich.",
-                        "RSDP11/_":"Meine Datenanalysen nehmen ___ Zeit in Anspruch als eine durchschnittliche Untersuchung in meinem Forschungsbereich.",
-                        "RSDP10/_":"Speichern Sie Rohdaten, die nicht publiziert werden, langfristig (10 Jahre und länger)?",
-                        "DTPUB6/1":"Bitte schätzen Sie, welchen relativen Anteil Ihrer Datensätze Sie publizieren. (Angabe in Prozent)",
-                        "DTPUB1b":"Wie haben Sie Ihre Daten publiziert?",
-                        "DTPUB5":"In welchen Repositorien haben Sie Ihre Daten veröffentlicht?",
-                        "DTPUB3":"Was motivierte Sie dazu, Ihre Forschungsdaten zu veröffentlichen? (Bitte wählen Sie bis zu 3 Antworten)",
-                        "DTPUB4a":"Auf welche Hindernisse sind Sie bei der Veröffentlichung Ihrer Forschungsdaten gestoßen?",
-                        "DTPUB4b":"Welche Bedenken oder Hindernisse haben Sie bisher davon abgehalten, Ihre Forschungsdaten zu veröffentlichen?",
-                        "RDMPR1":"Wo werden Ihre Forschungsdaten nach Abschluss eine Projekts hauptsächlich gespeichert?",
-                        "RDMPR3":"Wo dokumentieren Sie in Ihrem aktuellen Projekt die Arbeitsschritte, mit denen Ihre Daten erzeugt und verarbeitet werden?",
-                        "RDMPR7":"Mit welchen Informationen (Metadaten) beschreiben Sie normalerweise Ihre Forschungsdaten?",
-                        "RDMPR8/_":"Welche Informationen (Metadaten) davon erfassen Sie in der Regel digital?",
-                        "RDMPR9":"Welche dieser Informationen (Metadaten) erfassen Sie in der Regel automatisiert?",
-                        "RDMPR4/_":"Dokumentieren Sie Ihre Forschungsdaten auf strukturierte Weise? (z.B. mittels Formularen, Vorlagen oder Schemata)",
-                        "RDMPR5/_":"Verwenden Sie hierzu international genutzte Formulare, Schemata oder Standards?",
-                        "DTPUB7":"Welche dieser Metadaten publizieren Sie zusammen mit Ihren Forschungsdaten?",
-                        "RDMPR6":"Welche internationalen Standards nutzen Sie?",
-                        "RDMPR10":"Bitte nennen Sie die drei wichtigsten Softwareanwendungen, die Sie für Ihre Forschung verwenden.",
-                        "RDMPR12":"Was motiviert Sie dazu, Ihre Arbeitsschritte auf strukturierte Weise zu dokumentieren?",
-                        "RDMPR11":"Auf welche Hindernisse oder Schwierigkeiten sind Sie bei der Erfassung von Metadaten im Rahmen Ihrer Arbeit gestoßen?",
-                        "SERVC1":"In welchen Bereichen des Forschungsdatenmanagements haben Sie Bedarf an unterstützenden Angeboten?",
-                        "SERVC2":"Bitte bewerten Sie Ihr Interesse an den folgenden Service-Formaten.",
+                        "RSDP4/_":"Durchschnittliche Dauer von Planung bis Abschluss der Datenaufnahme in Monaten.",
+                        "RSDP8/_":"Meine Experimente nehmen ___ Zeit in Anspruch als der Durchschnitt in meinem Forschungsbereich.",
+                        "RSDP11/_":"Meine Datenanalysen nehmen ___ Zeit in Anspruch als der Durchschnitt in meinem Forschungsbereich.",
+                        "RSDP10/_":"Langfristige Speicherung unpublizierter Rohdaten (> 10 Jahre).",
+                        "DTPUB6/1":"Gescgätzter relativer Anteil der publizierten Datensätze.",
+                        "DTPUB1b":"Art der Datenpublikation.",
+                        "DTPUB5":"Repositorien in denen Daten veröffentlicht wurden.",
+                        "DTPUB3":"Motivation für die Forschungsdatenveröffentlichung.",
+                        "DTPUB4a":"Hindernisse während der Forschungsdatenveröffentlichung.",
+                        "DTPUB4b":"Bisherige Gründe, die gegen eine Forschungsdatenveröffentlichung sprechen.",
+                        "RDMPR1":"Speicherort der Forschungsdaten nach Abschluss eine Projekts.",
+                        "RDMPR3":"Dokumentationsmethode der Arbeitsschritte, mit denen Daten erzeugt und verarbeitet wurden.",
+                        "RDMPR7":"Informationen (Metadaten) zur Beschreibung der Forschungsdaten.",
+                        "RDMPR8/_":"Informationen (Metadaten), die digital erfasst werden.",
+                        "RDMPR9":"Informationen (Metadaten), die automatisiert erfasst werden.",
+                        "RDMPR4/_":"Strukturierte Dokumentation der Forschungsdaten.",
+                        "RDMPR5/_":"Verwendung international genutzter Formulare, Schemata oder Standards?",
+                        "DTPUB7":"Metadaten, die mit Forschungsdaten publiziert werden.",
+                        "RDMPR6":"Genutzte internationale Standards.",
+                        "RDMPR10":"Meistgenutzte Softwareanwendungen.",
+                        "RDMPR12":"Motivation für strukturierte Dokumentation der Arbeitsschritte.",
+                        "RDMPR11":"Hindernisse währund der Erfassung von Metadaten.",
+                        "SERVC1":"Unterstütztungsbedarf in Bereichen des Forschungsdatenmanagements.",
+                        "SERVC2":"Interesse an ausgewählten Service-Formaten.",
                         "SERVC3":"Sie haben es fast geschafft! Gerne können Sie Fragen, Wünsche oder Anregungen im folgenden Freitextfeld formulieren:"
                         }
                     }
@@ -2444,13 +2444,14 @@
         "recordings"],
     "researchArea" : [
         "All",
-        "Biology",
+        #"Biology",
         "Cum. Sum",
         "Chemistry",
-        "Computer science"
+        #"Computer Science",
         "Earth Science",
         "Engineering Science",
-        "Health",
+        #"Health",
+        "Life Science",
         "Mathematics",
         "Other",
         "Physics",
@@ -2459,6 +2460,7 @@
         "All",
         "Cum. Sum",
         "Chemistry",
+        #"Computer Science",
         "Earth Science",
         "Engineering Science",
         "Life Science",
@@ -2470,6 +2472,7 @@
         "All",
         "Cum. Sum",
         "Chemistry",
+        #"Computer Science",
         "Earth Science",
         "Engineering Science",
         "Life Science",
diff --git a/survey_dashboard/data/download_data.py b/survey_dashboard/data/download_data.py
@@ -15,7 +15,7 @@
 #url="https://access.gesis.org/sharing/2433/3778"
 
 def download_data(url="https://access.gesis.org/sharing/2433/3778", 
-    destination="dashboard/data/hmc_survey_2021_data_cleaned.csv"):
+    destination="survey_dashboard/data/hmc_survey_2021_data_cleaned.csv"):
     """
     This function downloads the dataset for a given DOI
     """
diff --git a/survey_dashboard/main.py b/survey_dashboard/main.py
diff --git a/survey_dashboard/plots.py b/survey_dashboard/plots.py
diff --git a/survey_dashboard/text_display.py b/survey_dashboard/text_display.py

Original file line number	Diff line number	Diff line change
`@@ -1,2 +1,2 @@`
`1`	`1`	`__name__ = "survey_dashboard"`
`2`		`-__version__ = "1.0.0"`
	`2`	`+__version__ = "0.1.0"`