Versuch mal die von JabRef erzeugte bib-Datei mit z.B. Notepad++ zu öffnen und gezielt als UTF-8 ohne BOM zu speichern bzw. sie vorher über Kodierung -> Konvertiere zu UTF-8 entsprechend umzuwandeln.

Noch eine Frage: Wie genau heißt die bib-Datei? Sind da evtl. Umlaute drin?