Elisa Viihde API Devaus

  • 18 September 2018
  • 47 kommenttia
  • 16293 katselukerrat


Näytä ensimmäinen kirjoitus

47 kommenttia

Käyttäjätaso 2

Olenko ymmärtänyt oikein, että Elisa melkeinpä haluaa pimittää tätä a) tekijänoikeudellisista syistä (.ts:n "liian hyvä" kuvanlaatu) ja/tai b) säästääkseen kaistaa "pakottamalla" käyttäjät huono(mpi)laatuiseen adaptiiviseen striimiin?


Nyt kun .ts-lataukset taas toimii, niin latasin kokeeksi samasta ohjelmasta sekä .ts että adaptiivisen .mp4 -version. ts-tiedoston koko oli 702000 kB ja mp4-tiedoston koko 720000 kB.

Itse en näe paljoakaan eroa noilla kahdella tallenteella (kuvakoko ja bitrate samat).

Joten salaliittoteoriasi on hieman ontuva.
Käyttäjätaso 4
Kunniamerkki +4

Olenko ymmärtänyt oikein, että Elisa melkeinpä haluaa pimittää tätä a) tekijänoikeudellisista syistä (.ts:n "liian hyvä" kuvanlaatu) ja/tai b) säästääkseen kaistaa "pakottamalla" käyttäjät huono(mpi)laatuiseen adaptiiviseen striimiin?Nyt kun .ts-lataukset taas toimii, niin latasin kokeeksi samasta ohjelmasta sekä .ts että adaptiivisen .mp4 -version. ts-tiedoston koko oli 702000 kB ja mp4-tiedoston koko 720000 kB.

Itse en näe paljoakaan eroa noilla kahdella tallenteella (kuvakoko ja bitrate samat).

Joten salaliittoteoriasi on hieman ontuva.


Mites tuo lataus nyt onnistuu?

Olenko ymmärtänyt oikein, että Elisa melkeinpä haluaa pimittää tätä a) tekijänoikeudellisista syistä (.ts:n "liian hyvä" kuvanlaatu) ja/tai b) säästääkseen kaistaa "pakottamalla" käyttäjät huono(mpi)laatuiseen adaptiiviseen striimiin?Nyt kun .ts-lataukset taas toimii, niin latasin kokeeksi samasta ohjelmasta sekä .ts että adaptiivisen .mp4 -version. ts-tiedoston koko oli 702000 kB ja mp4-tiedoston koko 720000 kB.

Itse en näe paljoakaan eroa noilla kahdella tallenteella (kuvakoko ja bitrate samat).

Joten salaliittoteoriasi on hieman ontuva.

Ainakin wifi-yhteydellä vaikutti välillä arpovan resoluutiota, vaikka yhteys on vähintäänkin riittävän nopea.

Mistä tässä sitten on kyse? Elisan api-dokumentaatio ei pysy muutosten tahdissa - vai miksi urlit pitää kaivaa hollannin kieliasetuksen kautta Sherlock Holmes -menetelmällä? Kysyn silkasta uteliaisuudesta, koska en ole devaaja (ja varmaan siksi väärässä ketjussa vänkäämässä ylipäätään).
Käyttäjätaso 7
Kunniamerkki +22
Lisäilin aloitukseen GitHub linkin, minkä takaa jatkossa voi käydä tsekkaileen noita ajantasaisia dokkareita
Käyttäjätaso 7
Kunniamerkki +22
Onko mitään arvioita missä vaiheessa tämä iso porukka sitten saa jotain aikaiseksi? Ilmeisesti joku on taas mennyt "korjaamaan" jotain, mikä ei ole ollut edes rikki ja tässä tulos...
Uusi kuukausi ja uudet kujeet, sain juuri korvanappiini tiedon että nyt olisi kunnossa, en tiedä onko tänään saatu kuosiin vai tiedotus vain unohtunut. Mitä nöyrimmät pahoittelut kuitenkin ongelman kestosta 😞 Ostetaan järeämpiä maihareita jatkoa varten!
Käyttäjätaso 5
Ostetaan järeämpiä maihareita jatkoa varten!

Et sä maihareilla pärjää, 50kg hienosäätötaputteluleka ja kunnon gootti-maiharit joissa paljon rautaa kiinni.

Asiasta kukkaruukkuun; lainaus toimii vaikka skandit. Oho. 😃
Käyttäjätaso 7
Kunniamerkki +22
OT: 10kg löytyy jo ja gootti-raudalliset New Rockit 😃 Paremmin silti mun mielestä monotukseen toimii ihan noi perinteiset Maiharit joissa turvakärjet :P

Kukkaruukussa: Siistiä, tän korjautumisesta en ollut viä kuullukkaan :D

Bäk in topic: Onhan nyt kaikki valtakunnassa taas mallillaan? 🙂
Käyttäjätaso 4
Bäk in topic: Onhan nyt kaikki valtakunnassa taas mallillaan? :)

Näyttäisi toimivan vanhalla API URLilla taas.

Tiistaina kuulemma ongelma löytyi, ja korjaus meni tuotantoon eilen, eli tiedotus on toiminut erinomaisesti 🙂
Oletteko huomanneet, että viime kesän jälkeen tallennetiedostot olisivat olleet jotenkin raskaammin pakatattuja tms? Aiemminkin HD-kanavien (nykyään käytännössä kaikkien kanavien) tallenteiden koko on 30 min ohjelmalla jotain 2-2,5 Gt. Aiempina vuosina olen Handbrakella saanut tiedoston koon pienennettyä yhteen gigatavuun, välillä jopa sen alle, ja niin että kuvanlaatu on vähän laskenut mutta pysynyt silti katsottavana. Syksyllä kun lataustoiminto saatiin taas pystyyn, huomasin että kesän jälkeen tallennettujen tallenteiden tiedostot pysyvät Handbrake-käsittelyn jälkeen samankokoisina, n. 2 Gt. Kuvanlaatu ei myöskään juuri laske, mitä voi tietysti pitää hyvänäkin puolena, mutta olisin valmis pudottamaan sitä vähän tallennustilan säästön nimissä. Olen kokeillut talven mittaan erilaisia asetuksia Handbrakella, mutta tiedostokoko pysyy sinnikkäästi lähes samana kuin .ts-tiedostolla. Pyöräytän tallenteet edelleen Handbraken kautta, mutta vain siksi että sillä tiedoston saa mp4:ksi. Onko tähän olemassa ratkaisua, vai täytyykö vain hyväksyä tämä? Ehkä tuo 2 Gt per jakso ei edes nykystandardeilla ole paljon, kun tallennustila on melko halpaa. Tuntuu silti hurjalta, että kun aiemmin puolessa vuodessa kertyi tallenteita vaikka 100 Gt verran, nyt samassa ajassa tulee 200 Gt, tuosta datasta tuntuu puolet olevan "turhaa". Mutta kun asiaa ajattelee tallennuslaitteiden hinnan kannalta, eihän tuo ero ole sellainen etteikö sitä kestäisi.
Moi,

Handbrake aina pakkaa videota. Jos haluat nopeasti .ts kontainerin .mp4 muotoon niin ffmpeg:illä onnistuu pakkaamatta.
Käyttäjätaso 4
Nyt saan koko ajan vain Error 500 kun yritän kutsua mitä apia tahansa? Onko mun apikey lukittu jostain syystä, vai onko yleinen ongelma tällä hetkellä?

Esim access-code endpoint herjaa:

{
"message": "An unexpected error occurred"
}
Käyttäjätaso 4
Kunniamerkki +5
Nyt saan koko ajan vain Error 500 kun yritän kutsua mitä apia tahansa? Onko mun apikey lukittu jostain syystä, vai onko yleinen ongelma tällä hetkellä?

Esim access-code endpoint herjaa:

{
"message": "An unexpected error occurred"
}


Sama vika. Ei näyttäisi siis olevan apikey.
Käyttäjätaso 7
Kunniamerkki +22
@asmandos ja @st72 pistin kyselyä että onko meillä ongelmia, vastausta odotellessa 🙂
Käyttäjätaso 7
Kunniamerkki +22
Mahdollinen ongelmakohta paikannettu ja toimenpide suoritettu, testatkaas @asmandos ja @st72 josko taas toimisi ja jos viitsitte niin kuitatkaa tänne myös niin tiedetään auttoiko 🙂
Käyttäjätaso 4
Mahdollinen ongelmakohta paikannettu ja toimenpide suoritettu, testatkaas @asmandos ja @st72 josko taas toimisi ja jos viitsitte niin kuitatkaa tänne myös niin tiedetään auttoiko :)

Näyttäisi toimivan. Kiitos 🙂
Käyttäjätaso 4
Kunniamerkki +5
Mahdollinen ongelmakohta paikannettu ja toimenpide suoritettu, testatkaas @asmandos ja @st72 josko taas toimisi ja jos viitsitte niin kuitatkaa tänne myös niin tiedetään auttoiko :)

Toimii. Nyt oli ripeät korjaavat toimenpiteet, kiitoksia!
Käyttäjätaso 5
Kunniamerkki +6
Hienoa, että saatiin korjaus näin nopeasti! 🙂
Käyttäjätaso 7
Kunniamerkki +22

 

Käyttäjätaso 5
Kunniamerkki +3

Tuli hieman tutkittua, kuinka näiden uudenmuotoisten tallenteiden URL oikein haetaan. Varmaankin esimerkit (hieman sensuroituna) selventävät:

Huomionarvoisia kohtia tuon POST-pyynnön sisällössä:

  • protocol: dashilla saa MPEG-DASH-manifesti ja hls:llä HLS master playlistin
  • cdnServiceOptions: s_ttml: tekstimuotoiset tekstitykset, s_smptett (bittikarttamuotoiset, Androidilla näköjään käytetään sellaisia); DASHilla fragmentoitu TTML, HLS:llä WebVTT-segmentit

Lataamisesta sen verran, että FFmpeg:llä onnistuu WebVTT-tekstitysten lataaminen. Suoraan master playlististä se tunnistaa ne vain, jos käytetään optiota -strict experimental, mutta tällöin ainakin minulla tekstitykset ovat 10 sekuntia jäljessä. Streamlinkillä saa kätevästi valittua ääniraidat (--hls-audio-select) ja myös youtube-dl:llä raitojen valinta onnistuu helpohkosti (muistaakseni), mutta kumpikaan ei osaa ladata tekstityksiä.

FFmpeg:llä on hieman hankalampaa valita halutut ääniraidat: jos laittaa esim. -map 0:v -map 0:a:m:language fi, saa kaikki erilaatuiset videoraidat ja kaikki erilaatuiset suomenkieliset ääniraidat. Tämän voi kiertää viittaamalla oikeaan HLS-varianttiin (-map 0:p:X:v, -map 0:p:X:a:m:language fi), missä X on variantin numero, joka pitäisi ensin master playlististä selvittää (toiseen ketjuun linkittämästäni python-skriptistä löytyy tästä yksi toteutus). 

Käyttäjätaso 5
Kunniamerkki +3

Edelliseen viestiini sen verran lisäystä, että näköjään pelkät tekstitykset saa ladattua FFmpeg:llä master playlistin urlia käyttäen, kun lisää komentoon myös -copyts -option. Näin ollen periaatteessa yksinkertaisin tapa ladata tallenne parsimatta master playlistiä mitenkään taitaisi olla ladata kuva ja ääni Streamlinkillä ja teksitykset FFmpeg:llä. Esimerkkinä haluttuina ääni- ja tekstitysraitoina fi ja nl:

  • streamlink --hls-audio-select "fi,nl" -o "filename.ts" "hls://requestRouterUrl name_fmt='{pixels}_{bitrate}'" best
  • ffmpeg -strict experimental -copyts -i "requestRouterUrl" -map 0:s:m:language:fi? -c:s subrip "filename.fi.srt" -map 0:s:m:language:nl? -c:s subrip "filename.nl.srt"

Pari ongelmaa tässä on. Ensinnäkin Streamlink ei tallenna tiedoston metadataan ääniraitojen kieliä. Toiseksi, jos tekstityskieleksi valitaan sellainen, joka tallenteesta puuttuu, luo FFmpeg ylimääräisiä .srt-tiedostoja väärällä tiedostonimellä. Eli jos esimerkin tapauksessa ohjelmatekstitys (nl) puuttuu, sisältää myös tiedosto filename.nl.srt suomenkielisen tekstityksen.

Käyttäjätaso 4
Kunniamerkki +5

Tuli hieman tutkittua, kuinka näiden uudenmuotoisten tallenteiden URL oikein haetaan. Varmaankin esimerkit (hieman sensuroituna) selventävät:

 

Mainiota reverseä, hattu päästä!

 

Latailin erilaisia YLEn ohjelmien Elisan tekemiä versioita ja tutkin ääniraitoja Audacityllä.

Lyhyesti sanottuna nuo on pilattu… paitsi että biteistä on kuristettu puolet pois (448 => 224 k) niin myös kanavat on sotkettu. Tämä myös selittää miksi digiboksi lähettää 5.1 kanavaa kotiteatterille jokaiselle YLEn tallenteelle ja jokaiselle ääniraidalle:

 

#EXT-X-MEDIA:TYPE=AUDIO,GROUP-ID="audio-ec-3-256",LANGUAGE="nl",NAME="Dutch; Flemish",DEFAULT=YES,AUTOSELECT=YES,CHANNELS="6",URI="ABCD-YYY-netpvr-...-audio_dut_1=256000.m3u8"

Yllä siis tekstitulkkaus. YLE lähettää sen kahdella kanavalla, Elisa koodaa sen kuudelle kanavalle. Sama koskee kaikkia YLEn 2.0 ääniraitoja. YLEn 5.1 raidoista pelkään että Elisa ottaa vain vasemman ja oikean ja koodaa ne sitten itse 5.1 muotoon. Se vähän kuulostaa siltä mutta en pysty vielä todentamaan tätä. YLEn suorat IPTV-kanavat Elisan kautta ainakin toistavat vain vasemman ja oikean etukanavan ja kaikki muut on hiljaa. Näin on ollut siitä alkaen kun adaptiive bit rate otettiin käyttöön näillä uusilla Netgemin malleilla.

 

Näitä ei vaan voi katsella (kuunnella) enää AV-vahvistimella kun puhe ja kaikki tulee korviin ihan vääristä suunnista. AV uskoo saavansa oikealla tavalla koodattua 5.1 ääntä ja toistaa sen niistä purkeista mitä kanaviin on kytketty.

 

Onko täällä mitään aktiviteettia?  Haluaisin API keyn, jotta  pääsen kokeilemaan API rajapintaa.  Pistin ohjeen mukaisesti viestiä OmaYhteisö-tiimille 10 päivää sitten, mutta vastausta ei ole kuulunut.  Keneen pitäisi ottaa yhteyttä?

Osallistu keskusteluun