Wolf, Birge; Lindenthal, Thomas; Szerencsits, Manfred and Heß, Jürgen (2010) Berücksichtigung der Leistungen für Praxis und Gesellschaft in der Forschungsevaluierung. [Evaluating the impact of research on practice and society.] Universität Kassel, D-Witzenhausen , Fachgebiet Ökologischer Land- und Pflanzenbau.
Preview |
PDF
- German/Deutsch
(Schlussbericht)
2MB |
Summary in the original language of the document
Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend berücksichtigt. Im BÖLN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der Ökolandbauforschung adäquat in der Evaluierung berücksichtigt werden können. Die Analyse von Konzepten für die Evaluierung angewandter, insbesondere inter- und transdisziplinärer Forschung und qualitative Interviews mit 22 Experten der ökologischen Agrarforschung zeigten, mit großer Übereinstimmung, dass folgende Leistungen der Forschung für eine solche Evaluierung relevant sind:
- Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft;
- Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft;
- Publikationen und andere Produkte der Forschung für nicht-wissenschaftliche Zielgruppen,
- Relevanz und tatsächlicher Impact für Praxis und Gesellschaft.
Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset für notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur überein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Ergänzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielfältige Evaluierungsinstrumente, u.a. Multi-Methoden Ansätze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als „stand-alone-Vorhaben“ umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit beträchtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ansätze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Großbritannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte für die Methodik der Evaluierung besonders betont:
a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein;
b) Für die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung über das Projektende hinaus sinnvoll;
c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zusätzliche Aufwand von Forschern für die Datenerfassung gering bleiben und die Daten für verschiede-ne Evaluierungen nutzbar gemacht werden.
Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung für die Evaluierung in die Antragstellung und Berichterstattung für die öffentliche Drittmittelförderung integriert werden könnte. Dieses würde sowohl einen zusätzlichen Aufwand für die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler öffentlicher Forschungsförderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf für die Evaluierung von Leistungen der Forschung für Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Anträgen und Berichten für eine Evaluierung nutzbar zu machen, ist es notwendig,
a) die Daten so zu strukturieren, dass sie gleichermaßen für die Forschungsförderung und verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind,
b) bisher nicht oder nur implizit geforderte, aber für die Evaluierung notwendige Informationen, explizit zu erfassen und
c) für die technische Umsetzung ein Datenbanksystem zu nutzen.
Durch letzteres können einmalig eingegebene Daten leicht zu späteren Zeitpunkten ergänzt werden (Nachbeobachtung) und Datensätze kontextbezogen für verschiedene Evaluierungsgegenstände gefiltert und unterschiedlich detailliert oder aggregiert ausgewertet werden. Da Teile von Anträgen und Berichten durch strukturierte Dokumentation ersetzt werden können, bliebe der Dokumentationsaufwand für Wissenschaftler voraussichtlich gleich. Wie und mit welchem Nutzen das skizzierte Konzept umgesetzt werden kann, wird über Fallstudien in einem Folgeprojekt erprobt. Darüber hinaus ist eine breite Diskussion in der Scientific Community weiterhin notwendig um eine Ergänzung der Forschungsevaluierung über den wissenschaftlichen Impact hinaus zu gestalten.
Summary translation
The established system of research evaluation (e.g. SCI) does not sufficiently consider the impact of science on practice and society. Therefore the BÖLN-Project (06OE307) focused on the adequate extension of research evaluation beyond scientific impact. The project was carried out exemplarily for organic agricultural science.
Published evaluation concepts for applied, interdisciplinary and transdisciplinary research and inter-views with 22 agricultural scientists shows a high level of agreement that the following achievements of research are relevant for an evaluation of the impact on practice and society:
- Research questions and applicable results are related to relevant problems of practice and society;
- Cooperation with scientists particularly from other disciplines, cooperation and knowledge transfer with actors from practice and society;
- Publications and products of research for non-scientific target groups;
- Relevance and the subsequent impact on practice and society.
Interviewees propose a comprehensive and adaptable criteria set for the evaluation of the impact on practice and society. This corresponds to recommendations in the evaluation literature. Most concepts are tailored for specific evaluation objects and purposes. Accordingly, they differ considerably in focus and extent of criteria sets. Thus, general extension needs adaptability of criteria sets.
Literature concepts also provide a broad spectrum of evaluation methods. Frequently multi-method-approaches are used, which often consider both internal and external perspectives. In most cases evaluations were carried out as “stand-alone-procedures” with high effort for data collection, like interviews or evaluation of project reports. Attempts for a regular data assessment are made for example by the research Councils UK. Indeed, project results about methods point out that:
a) Actors from practice and society have to participate in the evaluation process.
b) A consequent follow-up-assessment for projects is needed to gather later impact on practice and society.
c) Data should be collected in a less time-consuming manner and be available for various evaluations and other purposes to enhance usability and acceptance of complementary assessment procedures.
To improve data collection and usability for evaluation (issue c), we developed a concept to integrate data collection in the application and reporting of third-party funded research projects. We did so, since we found considerable overlapping between data requirements for the evaluation of the impact on practice and society and the documentation requirements and guidelines of many public research funding organisations (e.g. BMBF, BMWi, BMELV, BMU).
To enhance the usability of information provided in proposals and reports for evaluation, it is necessary to
a) structure the data in such a way that makes information useable both for research funding as well as for evaluations,
b) explicitly gather information necessary for the evaluation which is currently not or only implicitly claimed and
c) store it in a database-system.
The latter enables the use of data for various evaluation and research administration purposes, because it can be filtered, aggregated and analysed as needed. Furthermore it can easily be updated with information from follow-up-assessments.
If structured documentation by scientists may substitute considerable parts of research proposals and reports, overall efforts of scientists for documentation would not increase. To further develop this concept in detail it will be implemented and tested in case studies in a follow-up project. Practical implementation would also allow verifying, if the intended benefits for scientists, research funding organisations and evaluation can be achieved. Additionally, a wide discussion within the Scientific Community is needed, to shape an general extension of research evaluation beyond scientific impact.
| EPrint Type: | Report |
|---|---|
| Keywords: | BÖLN, BOELN, BÖL, BOEL, FKZ 06OE307, Forschungsevaluierung, Evaluierung, Praxis, Forschung, SCI, SSCI, peer-Review, praxisorientiert, anwendungsorientiert, systemorientiert, transdisziplinär, interdisziplinär, Praxis-Impact |
| Subjects: | "Organics" in general Knowledge management > Research methodology and philosophy > Systems research and participatory research Knowledge management > Research methodology and philosophy > Research communication and quality |
| Research affiliation: | Germany > Federal Organic Farming Scheme - BOEL > Training/Knowledge Transfer > Training/Knowledge Transfer Germany > University of Kassel > Department of Organic Farming and Cropping |
| Related Links: | http://www.bundesprogramm-oekolandbau.de, http://www.bundesprogramm.de/fkz=06OE307, http://orgprints.org/cgi/search/advanced?addtitle%2Ftitle=&keywords=06OE307&projects=BOEL&_order=bypublication&_action_search=Suchen, http://www.ingentaconnect.com/content/oekom/gaia/2013/00000022/00000002/art00009 |
| Deposited By: | Wolf, Birge |
| ID Code: | 23004 |
| Deposited On: | 19 Jul 2013 08:18 |
| Last Modified: | 19 Jul 2013 08:18 |
| Document Language: | German/Deutsch |
| Status: | Unpublished |
| Refereed: | Not peer-reviewed |
| Additional Publishing Information: | Gefördert vom Bundesministerium für Ernährung, Landwirtschaft und Verbraucherschutz (BMELV) im Rahmen des Bundesprogramms Ökologischer Landbau und andere Formen nachhaltiger Landwirtschaft. Projektleitung: Prof. Jürgen Heß, Universität Kassel, Fachbereich Ökologische Agrarwissenschaften, Fachgebiet Ökologischer Land- und Pflanzenbau |
Repository Staff Only: item control page
Download Statistics
Download Statistics
