Willkürliche Cuda-Transkoder Fehler und kleinere falsche Zielgröße!

Discussion in 'CloneBD (de)' started by madmax-x, Dec 16, 2017.

  1. madmax-x

    madmax-x Well-Known Member

    hallo @Fabian, @Reto, @Pete,

    ich habe wieder mal ein paar problemchen. vielleicht könnt ihr mir helfen, diese zu lösen.

    fangen wir bei der zielgröße in clonebd an. meistens rippe ich für/auf bd-25 und stelle bei der
    ausgabe-/zielgröße meistens einen benutzerdefinierten wert von 25,xx gb ein, da der
    standardwert von clonebd "bd-25" meist nur ca. 20-22 gb als ziel ergibt.
    so auch geschehen bei "der frosch mit der Maske". hier habe ich einen wert von ca. 25,3gb
    angewählt. als ziel kamen dann letztendlich 18,1gb bzw. 19470mb raus.
    anbei die log´s die mit clonebd 1.1.6.0 und 1.1.7.3 erstellt wurden.
    evtl. rechnet hier clonebd zu größzügig um auf meine wunschgröße von mehr als 20gb zu kommen.
    natürlich ist mir klar, das clonebd nicht exakt den genauen wert "erraten" kann (boni usw.),
    aber bei diesem film ist mir die Abweichung zu hoch. evtl. könnt ihr hier nachbessern?

    das zweite und für mich aber wichtigere Problem.
    bei mir treten vermehrt cuda-transkoder error auf. leider kann ich dies nicht ganz nachvollziehen,
    da hier keine Regelmäßigkeit zu erkennen ist. mein "bauchgefühl" sagt mir aber, das mit
    Version 1.1.6.0 diese weniger stark auftreten als mit Version 1.1.7.x.
    bevor ich einen film zu rippen beginne, mache ich meistens vorher einen Neustart des PCs,
    da hier wieder "gefühlt", so weniger transkoderfehler auftreten als ohne Neustart.
    anbei wieder ein paar log´s die mit unterschiedlichen clonebd Version gemacht wurden.
    teils kann es auch vorkommen, das es bei unterschiedlichen fortschritts-prozente vorkommt,
    innerhalb des gleichen ziels, sei es iso oder disk im quell-Laufwerk, jedenfalls aber mit der
    gleichen clonebd Version. der grafiktreiber von nvidia (388.59) ist aktuell.
    evtl. könnt ihr auch mal die log´s checken und für licht im dunkeln sorgen.
    an Elby jedenfalls, habe ich die log´s auch geschickt, mit der bitte um Bearbeitung!

    so das wars. auf Feedback von euch freue ich mich...

    eine schöne Weihnachtszeit noch!

    madmax-x

    ps. evtl. könnt ihr, nach Prüfung der log´s, diese im anhang löschen!
     
  2. Reto

    Reto Elaborate Bytes AG

    Wir haben heute Vormittag einige Testreihen laufen lassen und können das Verhalten mit den CUDA-Fehlern nicht reproduzieren.
    Dazu muss ich auch sagen, dass die GTX 1060 die bei uns am intensivsten getestete GPU ist.

    Das Setup ist sehr ähnlich - eine GTX 1060 mit gleicher Speicherausstattung, Treiber Version 388.59, verschiedene discs.

    Der angegebene Fehler "999" ist ein sehr obskurer Fehler des nVidia Encoders und bedeutet nicht sehr hilfreich CUDA_ERROR_UNKNOWN.
    Wir haben diesen bislang in keinem gemeldeten Problemfall gesehen, er ist für mich neu.
    Laut logdatei schlägt an dem Punkt sogar die sehr schlichte Abfrage des GPU-Speichers mit der gleichen Fehlermeldung fehl, d.h. also der Treiber oder die Grafikkarte hat sich komplett verabschiedet.

    Ich kann einige, sehr wenige entsprechende Beiträge im Internet zu "NVENC error 999" finden.
    Es gibt keine sehr hilfreichen Antworten, im wesentlichen "Rechner neu starten" oder "Treiber nochmals neu installieren".

    Was mir aufgefallen ist, ist dass dein Rechner sehr wenig Hauptspeicher zu haben scheint. 4GB ist für Windows 10 x64 und Blu-ray-transcoding ausgesprochen knapp bemessen.
    Das ist jetzt keine Analyse, lediglich ein Bauchgefühl: die Hauptaktion spielt sich im Grafikkarten-Speicher ab, daher ist der Systemspeicher dafür nicht relevant.
    Aber die NVENC-Treiber benötigen auch einiges an Systemspeicher, um Daten zwischen CPU und GPU auszutauschen. CloneBD selbst benötigt auch nochmal eine gewisse Menge.
    Es wäre denkbar, dass der Speicher zur Neige geht (es muss nicht einmal sein, dass kein Speicher mehr verfügbar ist, es genügt, wenn nicht mehr genug zusammenhängender Speicher für z.B. ein größeres Bild vorhanden ist).

    Du könntest auch einmal während dem Transcoden die Werte der GPU überwachen (z.B. mit "ASUS GPU Tweak II" oder "MSI Afterburner").
    Wir haben bei den Tests mitprotokolliert und es waren typischerweise Werte in diesen Bereichen:

    - GPU Temperatur max. 57° (idle: 40°)
    - VRAM Nutzung: max. 17%
    - GPU Auslastung: max. 37%

    Zu der GPU-Auslastung muss man hinzufügen, dass diese nur Auskunft über reine CUDA-Operationen gibt (CloneBD verwendet CUDA, zur Farbraumumrechnung und Skalierung).
    Der Encoder ist eine gesonderte Einheit auf der GPU und dessen Auslastung wird nicht angezeigt - dürfte aber bei 100% gelegen haben (Konvertierung ist von SSD auf SSD erfolgt).

    Zu der Ausgabegröße:
    der nVidia Encoder ist eigentlich recht präzise beim Einhalten vorgegebener Bitraten.
    Wenn aber die Filmdaten wenig Detailreich sind (weil sie schon mit sehr niedriger Bitrate auf der Scheibe daher kommen), fügt der nVidia-Encoder im VBR-Modus (variable bitrate) keine zusätzlichen Fillerdaten ein.
    D.h., er versucht nicht krampfhaft, die vorgegebene Bitrate durch Einfügen von nutzlosen Füllerdaten einzuhalten, das macht er nur im CBR-Modus (constant bitrate), da ist es zwingend nötig (Qualitativ bleibt VBR dabei weit überlegen).

    Wenn man die Bitrate von vorneweg höher ansetzt, dann werden evtl. ein paar Bereiche des Videos (oder einzelne clips), die in der Quelle bereits eine höhere Qualität haben, mit entsprechend höherer Bitrate geschrieben und damit gleicht sich das ein klein wenig aus, aber in der Regel ist es einfach so, dass die "zu klein" endenden clips schlicht von Haus aus mit miserabler Qualität daher kamen und von den Authoringprogrammen künstlich mit Fillerdaten aufgeblasen wurden, weil 7GB auf einer Blu-ray zu kümmerlich aussähen.

    Im vorliegenden Fall "Der Frosch mit der Maske" ist es ja auch vollkommen einfach nachvollziehbar: das ist Material, dass vor 60 Jahren für alte PAL-Röhrenbildschirme augenommen wurde, idR sogar schwarz/weiß. Nichts rechtfertigt da die scheinbar vorhandene Quell-Bitrate von 20mbit/s.
    Es gibt keinen Zaubertrick, mit dem man dieses 720x576-Bild künstlich auf echtes HD hochrechnen kann.
    Ein bisschen Skalieren, vielleicht noch etwas "nachschärfen", das war es dann auch.
    Das Bild bleibt aber letztlich Detailarm.
     
  3. madmax-x

    madmax-x Well-Known Member

    hallo @Reto,

    vielen lieben dank für deine antwort (ernstgemeint!)!

    so etwas in der art dachte ich mir schon fast. wahrscheinlich ist bei mir eine hardwaredefekt vorhanden,
    da der pc seit neuestens sogar manchmal mit clonebd ganz einfriert, sonst aber nie.
    ich werde mich da jetzt mal auf die suche machen.
    am anfang hatte ich noch das "fall creators update" im verdacht, da es hier dann vermehrt zu abstürzen kam.
    Arbeitsspeicher habe ich hier noch 4gb liegen, werde diese mal gegenchecken, sowie das Netzteil mal prüfen.
    das Problem ist, das ich die übrigen 4gb schon mal im System gehabt habe, mit noch mehr abstürzen.
    mein Motherboard verträgt nur bis zu 8gb maximal (4x2gb).

    und das mit der ausgabegröße klingt auch logisch. ich werde noch versuchen hier den wert etwas höher
    anzusetzen. sollte es nicht klappen, werde ich es so lassen. jedenfalls danke für die Erklärung!

    ich melde mich wieder, wenn es etwas neues gibt.

    madmax-x
     
  4. tectpro

    tectpro Translator (ms_MY)

    @madmax-x
    Hast Du mal memtest versucht um Deinen RAM zu überprüfen?
     
  5. madmax-x

    madmax-x Well-Known Member

    @Reto, @tectpro:

    ich habe jetzt den nvidia treiber 388.71 installiert und einige Tests gemacht.

    - memtest durchgeführt bzw. 5 stunden laufen lassen mit 0 Errors (module nicht getauscht, also die 4gb speicher!).
    - furmark test durchgeführt bzw. eine halbe stunde laufen lassen. die graka hat dann ca. 70°C stabil und ohne fehler.

    mit clonebd 1.1.7.3 Tests:
    - dunkirk von disk konvertiert auf bd-25 -> ohne erfolg. siehe log-Datei (...error 1)
    - dunkirk von hdd (iso) konvertiert auf bd-25 -> ohne erfolg. siehe log-Datei (... error 2) ohne Neustart, d.h. gleich nach error 1
    - dunkirk von hdd (iso) konvertiert auf bd-25 -> mit erfolg. siehe log-Datei mit vorherigen Neustart des Systems

    die graka hat dabei einen wert von max. 48°C gehabt. im idle ca. 28°C. siehe screenshot im anhang!
    "dxdiag" meldet auch keine fehler! weder anzeige noch Sound ect...

    im Moment bin ich noch ratlos... :(

    ps. bitte die log´s nach Prüfung wieder löschen, danke!
     

    Attached Files:

  6. madmax-x

    madmax-x Well-Known Member

    @Reto:

    mittlerweile nvidia treiber 390.65 installiert und wieder Tests gemacht.

    an der Hardware habe ich bisher keine fehler gefunden (memtest mehrmals durchgeführt, furmark ect., temp geprüft)
    (ich werde aber den pc bei Gelegenheit nochmals zerlegen (die anderen 4gb ram-riegel versuchen) und genauer schauen)

    was mir aber seltsam vorkommt ist, das wenn der pc frisch gestartet ist, die konvertierungsvorgänge mit clonebd meist funktionieren.
    während es bei laufendem betrieb nach dem surfen bzw. normalen arbeiten und dann erst konvertieren mit clonebd
    eigentlich immer diese cuda-fehler auftreten.

    ich habe nach einem Neustart schon ca. drei filme konvertiert und dann erst beim vierten den cuda-fehler erhalten.

    an Reto: wäre es programmierbar möglich, wenn bei mir dieser cuda-fehler auftritt, das clonebd genau an dieser stelle/clip des
    Abbruchs weitermacht mit dem konvertiervorgang oder ist das nicht möglich weil die puffer leer sind und clonebd keine
    Anfangsstelle mehr findet? evtl. hast du auch noch einen anderen tipp für mich? :thankyou:

    naja, ich suche weiter...
     
  7. Rudi Rammler

    Rudi Rammler Well-Known Member

    Ich habe leider die selben Probleme mit der Testversion von CloneBD. Allerdings benutze ich als Grafikkarte eine AMD Radeon HD 7700 Serie mit Hardwarebeschleunigung VMC und der neusten Treiberversion Adrenalin Edition-17.12.2-dec19.
     
  8. Reto

    Reto Elaborate Bytes AG

    Das ist leider nicht so leicht möglich - bei AVC und erst recht bei HEVC sind sehr viele Abhängigkeiten zwischen verschiedenen Bildern.
    Man müsste "zurückspulen" bis zum letzten key frame und von dort wieder weiter machen - das gibt die Architektur nicht her, der Aufwand wäre zu groß.

    Ich kann leider überhaupt keine Tipps geben, dieses Phänomen ist ausgesprochen seltsam und wurde sonst von niemandem berichtet, geschweige denn dass wir es reproduzieren könnten.
    Wenn es irgendeine Möglichkeit gibt z.B. im Bekanntenkreis eine andere nVidia-Karte auszuleihen und testweise einzubauen, würde ich das tun, um Probleme mit der Karte an sich auszuschließen.
     
  9. Reto

    Reto Elaborate Bytes AG

    Das ist dann ein völlig anderes Problem und hat mit diesem nichts zu tun.
    Am besten machst du einen eigenen Thread auf und postest eine CloneBD Logdatei - ohne diese können wir nichts tun.
     
  10. madmax-x

    madmax-x Well-Known Member

    ok, das wäre zu aufwendig.
    wäre es den möglich, einfach den Clip nochmals neu zu starten (bei 0%) und beim zweiten versuch,
    falls dieser wieder nicht erfolgreich ist, dann abzubrechen? man könnte dies evtl. unter den Einstellungen (wiederhohlversuche) mit aufnehmen!
    wenn es nicht programmierbar ist, ist dies auch kein Problem (war nur ein gedanke von mir).
    wenn nur der cuda-fehler 999 mehr hergeben würde... :sick:

    mit der graka ist das so ein Problem. die meisten die ich so kenne haben ja nur noch schlepptops/tablets ect..
    werde aber trotzdem mal versuchen, die graka irgendwie zu tauschen/testen/umzustecken.

    trotzdem danke für deine hilfe bzw. ich gebe wieder bescheid, wenn sich was ergeben hat...