Vorlage zum Review der Beiträge

Das besondere an der Studentenkonferenz Informatik Leipzig ist, dass wir Sie auch mal hinter die Kulisse einer Konferenz schauen lassen wollen. Vor allem für AutorInnen ist die Frage interessant, wie genau die Reviewer (Mitglieder des Programm Komitees) die eingereichten Beiträge bewerten.

Bewertungsrichtlinien

Bereits im letzten Jahr haben wir den Bewertungsstatus von Einreichungen erklärt. In diesem Jahr haben wir uns entschieden, das Template für die Reviewer zu veröffentlichen.

Die Bewertungskriterien

Wir verwenden das Konferenzmanagementsystem easychair. Dort ist es möglich, Templates für die Reviewer anzulegen und benutzerdefinierte Kriterien zu definieren. Wir haben sechs Kriterien definiert, die durch die Reviewer von 1 (mangelhaft) bis 5 (sehr gut) bewertet werden können

  • Format: Wurde die Formatvorlage eingehalten? Ist das Paper sauber formatiert? Sind die Abbildungen gut lesbar?
  • Fachliche Bearbeitung des Themas: Bei diesem Kriterium wird die Schwierigkeit des Themas und die Qualität der Lösung bewertet.
  • Einsatz von Methoden und Werkzeugen: Sind die verwendeten Methoden beschrieben? Sind das Vorgehen bzw. die Ergebnisse nachvollziehbar?
  • Neuheitswert des Beitrags: Wurde sich vom State-of-the-Art abgegrenzt? Wird eine neuartige Lösung bzw. ein neuartiger Ansatz beschrieben?
  • Qualität der verwendeten Literatur: Wie viele Quellen werden zitiert? Welche Qualität haben sie? Wurden die wichtigsten Standardquellen berücksichtigt?
  • Sprache und Ausdruck: Ist der Aufbau des Papers nachvollziehbar strukturiert? Werden Abbildungen sinnvoll verwendet? Wie gut sind Ausdruck, Rechtschreibung und Grammatik?

Jeder Reviewer soll zu den genannten Kriterien sowohl positive als auch negative Aspekte dokumentieren. Ein Beispiel:

Literatur

+ 12 Quellen zitiert
- Viele Internetquellen, die durch eine wissenschaftliche 
Veröffentlichung besser belegt werden könnten 
(z.B. Wikipedia sollte nicht zitiert werden)
- Referenzen zu XYZ fehlten

Das Gesamtgutachten

Weiterhin werden die Reviewer gebeten, ihren allgemeinen Eindruck zum Paper zu beschreiben. Dies beinhaltet eine kurze Inhaltsbeschreibung und eine kurze schriftliche Gesamtbewertung inkl. Empfehlung zur Annahme oder Ablehnung.

In besonderen Fällen erlaubt das Konferenzmanagementsystem es den Reviewern eine private Nachricht an den Konferenzchairs zu schreiben. Die zuvor genannten Bewertungen werden den AutorInnen per E-Mail zugeschickt. Die private Nachricht ist nur für die Mitglieder des Konferenzchair einsehbar.

Unsere Bewertungsvorlage ist sehr ausführlich – das ist nicht bei allen Konferenzen so. Wir bitten alle Reviewer, möglichst zahlreiche Hinweise zu möglichen Verbesserungen zu geben. Ziel der SKIL ist, dass sich die AutorInnen verbessern und Erfahrungen im Schreiben wissenschaftlicher Artikel sammeln.

Und dann …

Aus den Bewertungen der Reviewer ergibt sich ein Score. Da zu jedem Paper mindestens zwei unabhängige Reviews angefordert werden, ergibt sich ein Durchschnittswert. Das Paper mit den besten Bewertungen ist ein heißer Kandidat für das Best Paper. Die endgültige Entscheidung wird jedoch erst nach der finalen Einreichung getroffen.

Zusammenfassung

Wir hoffen, wir konnten Ihnen einen umfassenden Überblick über die Bewertungskriterien zur Studentenkonferenz Informatik Leipzig geben. Bewerten Sie Ihren Beitrag vor der Einreichung einmal selbst. Prüfen Sie die Struktur und die Verständlichkeit Ihrer Arbeit und lassen Sie ruhig Dritte Ihr Paper lesen. Und wenn Sie mögen, lassen Sie sich durch unsere Hinweise zum wissenschaftlichen Arbeiten inspirieren.

Keine Kommentierung möglich.