BeautifulSoup - выберите строку на основе словарного ключа

Question

Я использую BeautifulSoup для очистки страницы HTML и поиска, чтобы выбрать строку на основе ключа массива, а не тега элемента.

В этом случае я хочу использовать «fmt_headline» в качестве ключа для захвата «Основателя и генерального директора в SolarThermoChemical LLC».

<div id="srp_main_" class=""> 
<code id="voltron_srp_main-content" style="display:none;"> 

"fmt_headline":"Founder and CEO at SolarThermoChemical LLC", 
"isConnectedEnabled":true, 
"sharedConnectionToken":"240506fce660" 

</div> 

Любые мысли о том, как это сделать?

Answer 1

После того, как вы разобраны ваш HTML с BeautifulSoup, он может дать вам весь текст:

2>>> x 
'<div id="srp_main_" class="">\n<code id="voltron_srp_main-content" style="display:none;">\n\n"fmt_headline":"Founder and CEO at SolarThermoChemical LLC",\n"isConnectedEnabled":true,\n"sharedConnectionToken":"240506fce660"\n\n</div>' 
2>>> soup=bs4.BeautifulSoup(x) 
2>>> y=soup.get_text() 
2>>> y 
u'\n\n\n"fmt_headline":"Founder and CEO at SolarThermoChemical LLC",\n"isConnectedEnabled":true,\n"sharedConnectionToken":"240506fce660"\n\n' 

Теперь, дальнейший анализ этого текста остается на другие инструменты, такие как регулярные выражения:

2>>> import re 
2>>> mo = re.search(r'"fmt_headline":"([^"]*)"', y) 
2>>> print(mo.group(1)) 
Founder and CEO at SolarThermoChemical LLC 

Answer 2

Ваши желаемые данные приведены в разделе комментариев html. Поэтому вам нужно сначала извлечь комментарий.

from bs4 import BeautifulSoup, Comment 

tag = soup.find('code', attrs={'id': "voltron_srp_main-content"}) 
tag_comments = tag.find_all(text=lambda text: isinstance(text, Comment)) 

Теперь форма tag_comments вы можете разобрать его, как JSON (это выглядит как JSON) или использовать регулярные выражения, как показано в ответ Alex Мартелли в.