@misc{orgprints14975,
           title = {Entwicklung eines Leitfadens zur Bewertung von praxisbezogener Forschung zur {\"O}kologischen Landwirtschaft ausgehend von einer Analyse der bestehenden Evaluierungsinstrumente der Forschung},
        keywords = {Forschungsevaluierung, Evaluierung, Praxis, Forschung, SCI, SSCI, peer-Review, praxisorientiert, anwendungsorientiert,systemorientiert, transdisziplin{\"a}r, interdisziplin{\"a}r, Praxis-Impact, B{\"O}L, BOEL, FKZ 06OE307 },
        abstract = {Forschung zur Weiterentwicklung der {\"O}kologischen Landwirtschaft ist vielfach und in hohem Ma{\ss}e anwendungsorientiert und weist einen hohen Praxisbezug auf. Gleichzeitig werden Beitr{\"a}ge der Forschung zur Weiterentwicklung der Praxis durch die g{\"a}ngigen Bewertungsverfahren von Forschung nur sehr unzureichend erfasst, was die praxisorientierte Forschung in der {\"O}kologischen Landwirtschaft abwertet bzw. diese zunehmend zwingt, sich von umsetzungsbezogenen Fragestellungen abzuwenden, wenn positive Evaluierungen erreicht werden sollen. Eine Beurteilung der Forschung erfolgt in der Wissenschaft vor allem durch Begutachtung von anderen Wissenschaftern aus dem jeweiligen Fachgebiet (Peer Review-Verfahren). Als Beurteilungsrahmen und Referenzsystems dient auch f{\"u}r die Forschung im {\"O}kologischen Landbau der Science Citation-Index (SCI) bzw. der Social Science Citation-Index (SSCI), trotz fehlendem Fokus auf die sp{\"a}tere Anwendung der Forschungsergebnisse.
Um die Forschung im {\"O}kologischen Landbau entsprechend ihrer Bedeutung zur L{\"o}sung gesellschaftlicher Probleme ad{\"a}quat beurteilt zu wissen, soll in diesem Projekt ein wichtiger Beitrag f{\"u}r eine derartige anwendungsorientierte Bewertung geliefert werden. Mit Hilfe von im Projekt diskutierten Kriterien zur Bewertung praxisbezogener Forschung soll ein erster Beitrag geschaffen werden, um angewandte Forschung zur {\"O}kologischen Landwirtschaft ad{\"a}quat beurteilen zu k{\"o}nnen. Mittelfristig k{\"o}nnte dies als Alternative oder Erg{\"a}nzung zu bestehenden herk{\"o}mmlichen Evaluierungsinstrumenten (Science Citation-Index) weiterentwickelt werden. Hierbei soll das Augenmerk u.a. auf dem ?Impact? derartiger Forschung in die Praxis bzw. auf dem Transfer des Wissens sowie dem Innovationsgrad der Forschungsprojekte liegen.
Gesamtziel dieses Projektvorhabens soll es also sein, einen Leitfaden zur Bewertung angewandter, praxisorientierter und transdisziplin{\"a}rer Forschungsergebnisse im Bereich der {\"O}kologischen Landwirtschaft zu erarbeiten. Basis daf{\"u}r soll eine kritische Analyse der bestehenden Forschungsevaluierungsinstrumente aus Sicht der {\"O}kolandbauforschung sein. Die in diesem Vorhaben vorgesehene Analysen und Entwicklungsarbeiten sollen sich auf die Ebene durchgef{\"u}hrter Forschung beziehen. In dem Vorhaben soll diskutiert werden, wie der ?Praxis-Impact? erfasst und bewertet werden kann. Es soll der Frage nachgegangen werden, wie die Wirkung bzw. Beachtung von Ergebnissen aus Forschungsprojekten zur {\"O}kologischen Landwirtschaft in der Praxis bewertet werden kann, und zwar mit der Blickrichtung auf die Weiterentwicklung dieses Landnutzungssystems (aus Sicht der Praxis).

Als konkrete Ziele ergeben sich daraus:
?	Analyse und kritische Betrachtung der bestehenden konventionellen Evaluierungsinstrumente der Forschung hinsichtlich deren Eignung f{\"u}r angewandte, praxisorientierte und transdisziplin{\"a}re Forschung unter besonderer Ber{\"u}cksichtigung der Forschung zum {\"O}kologischen Landbau. Darstellung bestehender bzw. diskutierter Bewertungsmodelle angewandter / transdisziplin{\"a}rer Forschung und Pr{\"u}fung ihrer {\"U}bertragbarkeit auf die Agrarforschung, im speziellen auf die Forschung in der {\"O}kologischen Landwirtschaft.
?	Erarbeitung von Kriterien zur Bewertung angewandter, praxisorientierter und transdisziplin{\"a}rer Forschung im Bereich der {\"O}kologischen Landwirtschaft (Erarbeitung eines Bewertungs-Leitfadens). Darstellung und Abw{\"a}gung von Kriterien f{\"u}r systemorientierte gegen{\"u}ber symptomorientierten Ans{\"a}tzen zur Weiterentwicklung der Bewirtschaftungsweise im {\"O}kologischen Landbau. Reflexion {\"u}ber eine ad{\"a}quate Bewertung interdisziplin{\"a}rer angewandter Forschung.
},
             url = {https://orgprints.org/id/eprint/14975/}
}

@unpublished{orgprints23004,
            year = {2010},
          author = {Birge Wolf and Thomas Lindenthal and Manfred Szerencsits and J{\"u}rgen He{\ss}},
           title = {Ber{\"u}cksichtigung der Leistungen f{\"u}r Praxis und Gesellschaft in der Forschungsevaluierung},
        abstract = {Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend ber{\"u}cksichtigt. Im B{\"O}LN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der {\"O}kolandbauforschung ad{\"a}quat in der Evaluierung ber{\"u}cksichtigt werden k{\"o}nnen. Die Analyse von Konzepten f{\"u}r die Evaluierung angewandter, insbesondere inter- und transdisziplin{\"a}rer Forschung und qualitative Interviews mit 22 Experten der {\"o}kologischen Agrarforschung zeigten, mit gro{\ss}er {\"U}bereinstimmung, dass folgende Leistungen der Forschung f{\"u}r eine solche Evaluierung relevant sind:
- Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft;
- Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft;
- Publikationen und andere Produkte der Forschung f{\"u}r nicht-wissenschaftliche Zielgruppen,
- Relevanz und tats{\"a}chlicher Impact f{\"u}r Praxis und Gesellschaft.
Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset f{\"u}r notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur {\"u}berein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Erg{\"a}nzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielf{\"a}ltige Evaluierungsinstrumente, u.a. Multi-Methoden Ans{\"a}tze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als ?stand-alone-Vorhaben? umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit betr{\"a}chtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ans{\"a}tze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Gro{\ss}britannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte f{\"u}r die Methodik der Evaluierung besonders betont:
a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein;
b) F{\"u}r die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung {\"u}ber das Projektende hinaus sinnvoll;
c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zus{\"a}tzliche Aufwand von Forschern f{\"u}r die Datenerfassung gering bleiben und die Daten f{\"u}r verschiede-ne Evaluierungen nutzbar gemacht werden.
Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung f{\"u}r die Evaluierung in die Antragstellung und Berichterstattung f{\"u}r die {\"o}ffentliche Drittmittelf{\"o}rderung integriert werden k{\"o}nnte. Dieses w{\"u}rde sowohl einen zus{\"a}tzlichen Aufwand f{\"u}r die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler {\"o}ffentlicher Forschungsf{\"o}rderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf f{\"u}r die Evaluierung von Leistungen der Forschung f{\"u}r Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Antr{\"a}gen und Berichten f{\"u}r eine Evaluierung nutzbar zu machen, ist es notwendig,
a) die Daten so zu strukturieren, dass sie gleicherma{\ss}en f{\"u}r die Forschungsf{\"o}rderung und verschiedene Evaluierungsgegenst{\"a}nde (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind,
b) bisher nicht oder nur implizit geforderte, aber f{\"u}r die Evaluierung notwendige Informationen, explizit zu erfassen und
c) f{\"u}r die technische Umsetzung ein Datenbanksystem zu nutzen.
Durch letzteres k{\"o}nnen einmalig eingegebene Daten leicht zu sp{\"a}teren Zeitpunkten erg{\"a}nzt werden (Nachbeobachtung) und Datens{\"a}tze kontextbezogen f{\"u}r verschiedene Evaluierungsgegenst{\"a}nde gefiltert und unterschiedlich detailliert oder aggregiert ausgewertet werden. Da Teile von Antr{\"a}gen und Berichten durch strukturierte Dokumentation ersetzt werden k{\"o}nnen, bliebe der Dokumentationsaufwand f{\"u}r Wissenschaftler voraussichtlich gleich. Wie und mit welchem Nutzen das skizzierte Konzept umgesetzt werden kann, wird {\"u}ber Fallstudien in einem Folgeprojekt erprobt. Dar{\"u}ber hinaus ist eine breite Diskussion in der Scientific Community weiterhin notwendig um eine Erg{\"a}nzung der Forschungsevaluierung {\"u}ber den wissenschaftlichen Impact hinaus zu gestalten.},
             url = {https://orgprints.org/id/eprint/23004/},
        keywords = {B{\"O}LN, BOELN, B{\"O}L, BOEL, FKZ 06OE307, Forschungsevaluierung, Evaluierung, Praxis, Forschung, SCI, SSCI, peer-Review, praxisorientiert, anwendungsorientiert, systemorientiert, transdisziplin{\"a}r, interdisziplin{\"a}r, Praxis-Impact}
}

@misc{orgprints26963,
          volume = {22},
         journal = {GAIA - Ecological Perspectives for Science and Society},
          number = {2},
           title = {Evaluating Research beyond Scientific Impact - How to Include Criteria for Productive Interactions and Impact on Practice and Society},
           month = {June},
          author = {Birge Wolf and Thomas Lindenthal and Manfred Szerencsits and J. Britt Holbrook and J{\"u}rgen He{\ss}},
           pages = {104--114},
            year = {2013},
        abstract = {Currently, established research evaluation focuses on scientific impact ? that is, the impact of research on science itself. We discuss extending research evaluation to cover productive interactions and the impact of research on practice and society. The results are based on interviews with scientists from (organic) agriculture and a review of the literature on broader/social/societal impact assessment and the evaluation of interdisciplinary and ransdisciplinary research. There is broad agreement about what activities and impacts of research are relevant for such an evaluation. However, the extension of research evaluation is hampered by a lack of easily usable data. To reduce the effort involved in data collection,the usability of existing documentation procedures (e. g., proposals and reports for research funding) needs to be increased.We propose a structured database for the evaluation of scientists, projects, programmes and institutions, one that will require little additional effort beyond existing reporting requirements.},
             url = {https://orgprints.org/id/eprint/26963/},
        keywords = {data assessment, documentation, interdisciplinarity, organic
agricul ture, practice, productive interactions, research evaluation,social/societal impact, sustainability, transdisciplinarity, B{\"O}LN, BOELN, B{\"O}L, BOEL, FKZ 06OE307}
}